KTransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
Fine-Tuning PlatformMLOps & Experiment TrackingOpen Source
About
KTransformers è un progetto di ricerca incentrato sull'inferenza efficiente e sul fine-tuning di modelli di linguaggio di grandi dimensioni attraverso il calcolo eterogeneo CPU-GPU. Il progetto ora offre due funzionalità per l'utente provenienti dall'albero sorgente kt-kernel: Inferenza e SFT.
Open Source Health
- Stars
- 19,505
- Forks
- 1,573
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternative a KTransformers
Peftby Hugging Face🤗 PEFT: Ottimizzazione dei parametri all'avanguardia per il fine-tuning.
Sophia Script For Windowsby Dmitry Nefedovzap: Il modulo PowerShell per la configurazione di Windows 10 e Windows 11 su GitHub
LongWriterby THUKEG[ICLR 2025] LongWriter: Scatena la generazione di oltre 10.000 parole da LLM a lungo contesto.
Regress Lmby Google DeepMindLibreria per la previsione numerica da sequenza a sequenza, applicabile a qualsiasi input tokenizzabile, e consente pre-addestramento e fine-tuning su più compiti.
nanoGPTby KarpathyIl repository più semplice e veloce per l'addestramento/ottimizzazione di GPT di medie dimensioni.
Resources & Links
Related Categories
Usi KTransformers?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
kvcache.ai
Open-source project on GitHub: KTransformers