ds4
DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
About
DwarfStar si propone come un modo efficace per eseguire alcuni modelli di linguaggio di grandi dimensioni su hardware di consumo (cioè hardware di cui le persone possono effettivamente disporre). Per raggiungere questo obiettivo, stiamo costruendo un piccolo motore di inferenza nativo ottimizzato prima per DeepSeek V4 Flash (incluso il modello visivo sperimentale), DeepSeek V4.1 Flash (solo Metal) e, inoltre, GLM 5.2 e 5.3, GLM 5.3 Flash e DeepSeek V4 PRO. Il codice è autonomo e deliberatamente ristretto, non è un esecutore GGUF generale: è necessario utilizzare i file GGUF prodotti dal progetto, che fanno parte del progetto stesso.
Open Source Health
- Stars
- 22,332
- Forks
- 2,107
- License
- MIT
- Last commit
- 1 months ago
Alternative a ds4
h3.cby Salvatore SanfilippoMotore di inferenza MiniMax H3 per computer Mac
CHaiDNNby XilinxLibreria acceleratrice di reti neurali profonde basata su HLS per Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk è il primo modello da 14B a raggiungere una latenza di avvio sotto un secondo (0,87 s) mantenendo un throughput in tempo reale di 32 FPS su un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa libreria di Pattern Matching esaustiva per TypeScript, con inferenza di tipo intelligente.
Nobodywhoby NobodyWhoNobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente e in modo efficiente su qualsiasi dispositivo.
Resources & Links
Related Categories
Usi ds4?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Salvatore Sanfilippo
Computer programmer based in Sicily, Italy. I mostly write OSS software. Born 1977. Not a puritan