Llm.C

LLMs in einfachem, reinem C/CUDA, ohne dass 245 MB PyTorch oder 107 MB cPython benötigt werden. Der aktuelle Fokus liegt auf dem Pretraining, insbesondere auf der Reproduktion der GPT-2- und GPT-3-Miniserien, zusammen mit einer parallelen PyTorch-Referenzimplementierung in train_gpt2.py. Diese Datei erkennen Sie als leicht modifiziertes nanoGPT, ein früheres Projekt von mir. Derzeit ist llm.c etwas schneller als PyTorch Nightly (um etwa 7 %). Neben dem aktuellen Hauptcode in train_gpt2.cu haben wir eine einfache Referenzimplementierung für CPU fp32 in ~1.000 Zeilen sauberem Code in einer Datei train_gpt2.c. Ich möchte, dass dieses Repository nur C- und CUDA-Code enthält. Ports zu anderen Sprachen oder Repositories sind sehr willkommen, sollten jedoch in separaten Repositories erfolgen, und ich bin gerne bereit, sie im Abschnitt "bemerkenswerte Forks" unten zu verlinken. Die Entwicklerkoordination erfolgt in den Diskussionen und auf Discord, entweder im #llmc-Kanal im Zero to Hero-Kanal oder in #llmdotc auf dem GPU MODE Discord.