LWS
LeaderWorkerSet: An API for deploying a group of pods as a unit of replication
Model DeploymentMLOps & Experiment TrackingOpen Source
About
LeaderWorkerSet (LWS) : Une API pour déployer un groupe de pods comme une unité de réplication. Elle vise à traiter les modèles de déploiement courants des charges de travail d'inférence AI/ML, en particulier les charges de travail d'inférence multi-hôtes où le LLM (Modèle de Langage Large) sera fragmenté et exécuté sur plusieurs appareils sur plusieurs nœuds.
Open Source Health
- Stars
- 814
- Forks
- 183
- License
- Apache-2.0
- Last commit
- 1 months ago
Go
Alternatives à LWS
CHaiDNNby XilinxBibliothèque d'accélérateur de réseaux neuronaux profonds basée sur HLS pour Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk est le premier modèle 14B à atteindre une latence de démarrage inférieure à une seconde (0,87 s) tout en maintenant un débit en temps réel de 32 FPS sur un nœud 8xH800.
Ts Patternby Gabriel VergnaudLa bibliothèque exhaustive de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.
Nobodywhoby NobodyWhoNobodyWho est un moteur d'inférence qui te permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
ds4by Salvatore SanfilippoMoteur d'inférence local DeepSeek 4 Flash et PRO pour Metal, CUDA et ROCm
Resources & Links
Related Categories
Tu utilises LWS ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Kubernetes Sigs
Publisher of Scheduler Plugins, Kustomize and Kubernetes Mixin
