LLM Swarm
Manage scalable open LLM inference endpoints in Slurm clusters
Model DeploymentMLOps & Experiment TrackingOpen Source
About
llm_swarm creará un archivo Slurm en ./slurm basado en la configuración predeterminada ( --slurm_template_path=tgi_template.slurm) y registros en ./slurm/logs si te interesa inspeccionarlos.
Open Source Health
- Stars
- 291
- Forks
- 28
- License
- MIT
- Last commit
- 2 years ago
Python
Alternativas a LLM Swarm
Optimumby Hugging Face🚀 Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar.
CHaiDNNby XilinxBiblioteca aceleradora de redes neuronales profundas basada en HLS para Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk es el primer modelo de 14B que logra una latencia de inicio de menos de un segundo (0.87 s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa biblioteca de coincidencias de patrones exhaustiva para TypeScript, con inferencia de tipos inteligente.
Nobodywhoby NobodyWhoNobodyWho es un motor de inferencia que te permite ejecutar LLMs localmente y de manera eficiente en cualquier dispositivo.
Resources & Links
Related Categories
¿Usas LLM Swarm?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Hugging Face
Publisher of Speech To Speech, Diffusers and Optimum
