Checkpoint Engine
checkpoint-engine is a lightweight, decoupling and efficient weight update middleware
Model DeploymentMLOps & Experiment TrackingOpen Source
About
Checkpoint-engine è un middleware semplice per aggiornare i pesi del modello nei motori di inferenza LLM – un passo critico nell'apprendimento per rinforzo. Forniamo un'implementazione efficiente e leggera per l'aggiornamento dei pesi in loco: aggiornare il nostro modello Kimi-K2 (1 trilione di parametri) su migliaia di GPU richiede circa 20 secondi.
Open Source Health
- Stars
- 1,005
- Forks
- 107
- License
- MIT
- Last commit
- 1 months ago
Python
Alternative a Checkpoint Engine
CHaiDNNby XilinxLibreria acceleratrice di reti neurali profonde basata su HLS per Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk è il primo modello da 14B a raggiungere una latenza di avvio sotto un secondo (0,87 s) mantenendo un throughput in tempo reale di 32 FPS su un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa libreria di Pattern Matching esaustiva per TypeScript, con inferenza di tipo intelligente.
Nobodywhoby NobodyWhoNobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente e in modo efficiente su qualsiasi dispositivo.
ds4by Salvatore SanfilippoMotore di inferenza locale DeepSeek 4 Flash e PRO per Metal, CUDA e ROCm
Resources & Links
Related Categories
Usi Checkpoint Engine?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Moonshot AI
Open-source projects on GitHub: Kimi-Dev, MoonEP and Checkpoint Engine
