KTransformers
vonkvcache.ai
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
FeinabstimmungsplattformMLOps & ExperimentverfolgungOpen Source
Über
KTransformers ist ein Forschungsprojekt, das sich auf die effiziente Inferenz und Feinabstimmung großer Sprachmodelle durch heterogenes Rechnen mit CPU und GPU konzentriert. Das Projekt bietet nun zwei benutzerorientierte Funktionen aus dem kt-kernel-Quellbaum an: Inferenz und SFT.
Open Source Health
- Stars
- 19,505
- Forks
- 1,573
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternativen zu KTransformers
Peftvon Hugging Face🤗 PEFT: Fortschrittliches, parameter-effizientes Fine-Tuning.
Sophia Script For Windowsvon Dmitry Nefedovzap: Das leistungsstarke PowerShell-Modul zur Feinabstimmung von Windows 10 und Windows 11 auf GitHub
LongWritervon THUKEG[ICLR 2025] LongWriter: Entfessle die Generierung von über 10.000 Wörtern aus langen Kontext-LLMs.
Regress Lmvon Google DeepMindBibliothek für die numerische Vorhersage von Sequenzen, anwendbar auf beliebige tokenisierbare Eingaben, ermöglicht Pretraining und Fine-Tuning über mehrere Aufgaben.
nanoGPTvon KarpathyDas einfachste und schnellste Repository zum Trainieren/Fine-Tunen von mittelgroßen GPTs.
Ressourcen & Links
Verwandte Kategorien
Nutzt du KTransformers?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
kvcache.ai
Open-source project on GitHub: KTransformers