DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Model DeploymentMLOps & Experiment TrackingOpen Source

About

DwarfStar vise à fournir une solution pour exécuter plusieurs modèles de langage de grande taille sur du matériel grand public (c'est-à-dire du matériel que les gens peuvent réellement posséder). Pour atteindre cet objectif, nous développons un petit moteur d'inférence natif optimisé d'abord pour DeepSeek V4 Flash (y compris le modèle de vision expérimental), DeepSeek V4.1 Flash (uniquement Metal), ainsi que GLM 5.2 et 5.3, GLM 5.3 Flash et DeepSeek V4 PRO. Le code est autonome et délibérément restreint, ce n'est pas un exécuteur GGUF général : vous devez utiliser les fichiers GGUF produits par le projet, qui font partie intégrante du projet lui-même.

Open Source Health

Not enough history
Stars
22,332
Forks
2,107
License
MIT
Last commit
1 months ago
C

Resources & Links

Related Categories

Tu utilises ds4 ?

Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.

Ajouter à mon stack

Vendor

Salvatore Sanfilippo

Computer programmer based in Sicily, Italy. I mostly write OSS software. Born 1977. Not a puritan

View vendor profile

More by Salvatore Sanfilippo