KTransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
Fine-Tuning PlatformMLOps & Experiment TrackingOpen Source
About
KTransformers est un projet de recherche axé sur l'inférence efficace et le fine-tuning de grands modèles de langage grâce à l'informatique hétérogène CPU-GPU. Le projet expose désormais deux capacités destinées aux utilisateurs à partir de l'arborescence source kt-kernel : l'inférence et le SFT (Supervised Fine-Tuning).
Open Source Health
- Stars
- 19,505
- Forks
- 1,573
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternatives à KTransformers
Peftby Hugging Face🤗 PEFT : Ajustement fin efficace en paramètres à la pointe de la technologie.
Sophia Script For Windowsby Dmitry Nefedovzap : Le module PowerShell pour le réglage de Windows 10 et Windows 11 sur GitHub.
LongWriterby THUKEG[ICLR 2025] LongWriter : Libère la génération de plus de 10 000 mots à partir de LLMs à long contexte.
Regress Lmby Google DeepMindBibliothèque pour la prédiction numérique de séquence à séquence, applicable à toute entrée tokenisable, et permet le pré-entraînement et l'ajustement fin sur plusieurs tâches.
nanoGPTby KarpathyLe dépôt le plus simple et rapide pour entraîner/affiner des GPT de taille moyenne.
Resources & Links
Related Categories
Tu utilises KTransformers ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
kvcache.ai
Open-source project on GitHub: KTransformers