Llm.C

LLM in C/CUDA semplice e puro senza necessità di 245MB di PyTorch o 107MB di cPython. L'attenzione attuale è rivolta al pre-addestramento, in particolare alla riproduzione della miniserie GPT-2 e GPT-3, insieme a un'implementazione di riferimento parallela in PyTorch in train_gpt2.py. Riconoscerai questo file come una versione leggermente modificata di nanoGPT, un mio progetto precedente. Attualmente, llm.c è leggermente più veloce di PyTorch Nightly (circa il 7% in più). Oltre al codice principale all'avanguardia in train_gpt2.cu, abbiamo una semplice implementazione di riferimento CPU fp32 in circa 1.000 righe di codice pulito in un file train_gpt2.c. Vorrei che questo repository mantenesse solo codice C e CUDA. Le porte verso altri linguaggi o repository sono benvenute, ma dovrebbero essere fatte in repository separati, e sono felice di collegarli qui sotto nella sezione "forks notevoli". Il coordinamento tra sviluppatori avviene nelle Discussioni e su Discord, sia nel canale #llmc sul canale Zero to Hero, sia su #llmdotc nel Discord di GPU MODE.