KTransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
Fine-Tuning PlatformMLOps & Experiment TrackingOpen Source
About
KTransformers es un proyecto de investigación centrado en la inferencia eficiente y el ajuste fino de grandes modelos de lenguaje mediante computación heterogénea CPU-GPU. El proyecto ahora expone dos capacidades orientadas al usuario del árbol de origen kt-kernel: Inferencia y SFT.
Open Source Health
- Stars
- 19,505
- Forks
- 1,573
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternativas a KTransformers
Peftby Hugging Face🤗 PEFT: Ajuste fino eficiente en parámetros de última generación.
Sophia Script For Windowsby Dmitry Nefedovzap: El módulo de PowerShell para ajustar Windows 10 y Windows 11 en GitHub.
LongWriterby THUKEG[ICLR 2025] LongWriter: Desata la generación de más de 10,000 palabras a partir de LLMs de largo contexto.
Regress Lmby Google DeepMindBiblioteca para la predicción numérica de secuencia a secuencia, aplicable a cualquier entrada tokenizable, y permite preentrenamiento y ajuste fino en múltiples tareas.
nanoGPTby KarpathyEl repositorio más simple y rápido para entrenar/ajustar GPTs de tamaño medio.
Resources & Links
Related Categories
¿Usas KTransformers?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
kvcache.ai
Open-source project on GitHub: KTransformers