Llm.C

LLMs en C/CUDA simple y puro sin necesidad de 245MB de PyTorch o 107MB de cPython. El enfoque actual está en el preentrenamiento, en particular en reproducir la miniserie GPT-2 y GPT-3, junto con una implementación de referencia paralela en PyTorch en train_gpt2.py. Reconocerás este archivo como una versión ligeramente modificada de nanoGPT, un proyecto anterior mío. Actualmente, llm.c es un poco más rápido que PyTorch Nightly (aproximadamente un 7% más rápido). Además del código principal de vanguardia en train_gpt2.cu, tenemos una implementación de referencia simple en CPU fp32 en aproximadamente 1,000 líneas de código limpio en un solo archivo train_gpt2.c. Me gustaría que este repositorio mantuviera solo código en C y CUDA. Las adaptaciones a otros lenguajes o repositorios son bienvenidas, pero deben hacerse en repositorios separados, y estoy dispuesto a enlazarlos a continuación en la sección de