Liger-Kernel

Liger Kernel est une collection de kernels Triton conçus spécifiquement pour l'entraînement de LLM. Il peut augmenter efficacement le débit d'entraînement multi-GPU de 20 % et réduire l'utilisation de la mémoire de 60 %. Nous avons mis en œuvre RMSNorm compatible avec Hugging Face, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy et d'autres à venir. Le kernel fonctionne immédiatement avec Flash Attention, PyTorch FSDP et Microsoft DeepSpeed. Nous accueillons les contributions de la communauté pour rassembler les meilleurs kernels pour l'entraînement de LLM.