LLM Swarm
Manage scalable open LLM inference endpoints in Slurm clusters
Model DeploymentMLOps & Experiment TrackingOpen Source
About
llm_swarm créera un fichier Slurm dans ./slurm basé sur la configuration par défaut ( --slurm_template_path=tgi_template.slurm) et des journaux dans ./slurm/logs si tu souhaites les inspecter.
Open Source Health
- Stars
- 291
- Forks
- 28
- License
- MIT
- Last commit
- 2 years ago
Python
Alternatives à LLM Swarm
Optimumby Hugging Face🚀 Accélère l'inférence et l'entraînement des 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle faciles à utiliser.
CHaiDNNby XilinxBibliothèque d'accélérateur de réseaux neuronaux profonds basée sur HLS pour Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk est le premier modèle 14B à atteindre une latence de démarrage inférieure à une seconde (0,87 s) tout en maintenant un débit en temps réel de 32 FPS sur un nœud 8xH800.
Ts Patternby Gabriel VergnaudLa bibliothèque exhaustive de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.
Nobodywhoby NobodyWhoNobodyWho est un moteur d'inférence qui te permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
Resources & Links
Related Categories
Tu utilises LLM Swarm ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Hugging Face
Publisher of Speech To Speech, Diffusers and Optimum
