Liger-Kernel
Efficient Triton Kernels for LLM Training
About
Liger Kernel è una raccolta di kernel Triton progettati specificamente per l'addestramento di LLM. Può aumentare efficacemente la capacità di addestramento multi-GPU del 20 % e ridurre l'uso della memoria del 60 %. Abbiamo implementato RMSNorm compatibile con Hugging Face, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy e altro ancora in arrivo. Il kernel funziona subito con Flash Attention, PyTorch FSDP e Microsoft DeepSpeed. Accogliamo con favore i contributi della comunità per raccogliere i migliori kernel per l'addestramento di LLM.
Open Source Health
- Stars
- 6,610
- Forks
- 599
- License
- BSD-2-Clause
- Last commit
- 1 months ago
Alternative a Liger-Kernel
Peftby Hugging Face🤗 PEFT: Ottimizzazione dei parametri all'avanguardia per il fine-tuning.
Sophia Script For Windowsby Dmitry Nefedovzap: Il modulo PowerShell per la configurazione di Windows 10 e Windows 11 su GitHub
KTransformersby kvcache.aiUn framework flessibile per l'ottimizzazione dell'inferenza e del fine-tuning di LLM eterogenei.
LongWriterby THUKEG[ICLR 2025] LongWriter: Scatena la generazione di oltre 10.000 parole da LLM a lungo contesto.
Regress Lmby Google DeepMindLibreria per la previsione numerica da sequenza a sequenza, applicabile a qualsiasi input tokenizzabile, e consente pre-addestramento e fine-tuning su più compiti.
Resources & Links
Related Categories
Usi Liger-Kernel?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Publisher of LinkedIn Sales Navigator and LinkedIn Sales Navigator
