ds4
DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
About
DwarfStar vise à fournir une solution pour exécuter plusieurs modèles de langage de grande taille sur du matériel grand public (c'est-à-dire du matériel que les gens peuvent réellement posséder). Pour atteindre cet objectif, nous développons un petit moteur d'inférence natif optimisé d'abord pour DeepSeek V4 Flash (y compris le modèle de vision expérimental), DeepSeek V4.1 Flash (uniquement Metal), ainsi que GLM 5.2 et 5.3, GLM 5.3 Flash et DeepSeek V4 PRO. Le code est autonome et délibérément restreint, ce n'est pas un exécuteur GGUF général : vous devez utiliser les fichiers GGUF produits par le projet, qui font partie intégrante du projet lui-même.
Open Source Health
- Stars
- 22,332
- Forks
- 2,107
- License
- MIT
- Last commit
- 1 months ago
Alternatives à ds4
h3.cby Salvatore SanfilippoMoteur d'inférence MiniMax H3 pour ordinateurs Mac
CHaiDNNby XilinxBibliothèque d'accélérateur de réseaux neuronaux profonds basée sur HLS pour Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk est le premier modèle 14B à atteindre une latence de démarrage inférieure à une seconde (0,87 s) tout en maintenant un débit en temps réel de 32 FPS sur un nœud 8xH800.
Ts Patternby Gabriel VergnaudLa bibliothèque exhaustive de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.
Nobodywhoby NobodyWhoNobodyWho est un moteur d'inférence qui te permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
Resources & Links
Related Categories
Tu utilises ds4 ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Salvatore Sanfilippo
Computer programmer based in Sicily, Italy. I mostly write OSS software. Born 1977. Not a puritan