LWS
LeaderWorkerSet: An API for deploying a group of pods as a unit of replication
Model DeploymentMLOps & Experiment TrackingOpen Source
About
LeaderWorkerSet (LWS): Una API para desplegar un grupo de pods como una unidad de replicación. Su objetivo es abordar patrones comunes de despliegue de cargas de trabajo de inferencia de AI/ML, especialmente cargas de trabajo de inferencia en múltiples hosts donde el LLM (Modelo de Lenguaje Grande) se fragmentará y se ejecutará en múltiples dispositivos en múltiples nodos.
Open Source Health
- Stars
- 814
- Forks
- 183
- License
- Apache-2.0
- Last commit
- 1 months ago
Go
Alternativas a LWS
CHaiDNNby XilinxBiblioteca aceleradora de redes neuronales profundas basada en HLS para Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk es el primer modelo de 14B que logra una latencia de inicio de menos de un segundo (0.87 s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa biblioteca de coincidencias de patrones exhaustiva para TypeScript, con inferencia de tipos inteligente.
Nobodywhoby NobodyWhoNobodyWho es un motor de inferencia que te permite ejecutar LLMs localmente y de manera eficiente en cualquier dispositivo.
ds4by Salvatore SanfilippoMotor de inferencia local DeepSeek 4 Flash y PRO para Metal, CUDA y ROCm
Resources & Links
Related Categories
¿Usas LWS?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Kubernetes Sigs
Publisher of Scheduler Plugins, Kustomize and Kubernetes Mixin
