Liger-Kernel

Liger Kernel es una colección de kernels Triton diseñados específicamente para el entrenamiento de LLM. Puede aumentar efectivamente el rendimiento del entrenamiento en múltiples GPUs en un 20 % y reducir el uso de memoria en un 60 %. Hemos implementado RMSNorm compatible con Hugging Face, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy y más que vendrá. El kernel funciona directamente con Flash Attention, PyTorch FSDP y Microsoft DeepSpeed. Damos la bienvenida a las contribuciones de la comunidad para reunir los mejores kernels para el entrenamiento de LLM.