Llm.C

LLM en C/CUDA pur et simple sans besoin de 245 Mo de PyTorch ou 107 Mo de cPython. L'accent actuel est mis sur le pré-entraînement, en particulier la reproduction de la mini-série GPT-2 et GPT-3, ainsi qu'une implémentation de référence PyTorch parallèle dans train_gpt2.py. Vous reconnaîtrez ce fichier comme un nanoGPT légèrement modifié, un projet antérieur. Actuellement, llm.c est un peu plus rapide que PyTorch Nightly (d'environ 7 %). En plus du code principal à la pointe dans train_gpt2.cu, nous avons une simple implémentation de référence CPU fp32 en ~1 000 lignes de code propre dans un fichier train_gpt2.c. Je souhaite que ce dépôt maintienne uniquement du code C et CUDA. Les ports vers d'autres langages ou dépôts sont les bienvenus, mais doivent être réalisés dans des dépôts séparés, et je suis heureux de les lier ci-dessous dans la section "forks notables". La coordination des développeurs se fait dans les Discussions et sur Discord, soit dans le canal #llmc sur le canal Zero to Hero, soit sur #llmdotc sur le Discord de GPU MODE.