ds4
DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
About
DwarfStar tiene como objetivo ser la mejor manera de ejecutar algunos excelentes modelos de lenguaje grande en hardware de consumo (es decir, hardware que las personas pueden poseer). Para alcanzar este objetivo, estamos construyendo un pequeño motor de inferencia nativo optimizado primero para DeepSeek V4 Flash (incluido el modelo de visión experimental), DeepSeek V4.1 Flash (solo Metal) y, adicionalmente, GLM 5.2 y 5.3, GLM 5.3 Flash y DeepSeek V4 PRO. El código es autónomo y deliberadamente específico, no es un ejecutor general de GGUF: es necesario utilizar los archivos GGUF que produce el proyecto, que son parte del propio proyecto.
Open Source Health
- Stars
- 22,332
- Forks
- 2,107
- License
- MIT
- Last commit
- 1 months ago
Alternativas a ds4
h3.cby Salvatore SanfilippoMotor de inferencia MiniMax H3 para computadoras Mac
CHaiDNNby XilinxBiblioteca aceleradora de redes neuronales profundas basada en HLS para Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk es el primer modelo de 14B que logra una latencia de inicio de menos de un segundo (0.87 s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa biblioteca de coincidencias de patrones exhaustiva para TypeScript, con inferencia de tipos inteligente.
Nobodywhoby NobodyWhoNobodyWho es un motor de inferencia que te permite ejecutar LLMs localmente y de manera eficiente en cualquier dispositivo.
Resources & Links
Related Categories
¿Usas ds4?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Salvatore Sanfilippo
Computer programmer based in Sicily, Italy. I mostly write OSS software. Born 1977. Not a puritan