Datablations

Wir untersuchen die Skalierung von Sprachmodellen in datengebundenen Regimen. Wir führen eine große Anzahl von Experimenten durch, bei denen das Ausmaß der Datenwiederholung und das Rechenbudget variiert werden, bis zu 900 Milliarden Trainings-Token und Modelle mit 9 Milliarden Parametern. Basierend auf unseren Durchläufen schlagen wir ein Skalierungsgesetz für die Rechenoptimalität vor und validieren es empirisch, das den abnehmenden Wert wiederholter Token und überschüssiger Parameter berücksichtigt. Wir experimentieren auch mit Ansätzen zur Minderung der Datenknappheit, einschließlich der Erweiterung des Trainingsdatensatzes mit Code-Daten, Perplexitätsfilterung und Duplikatsentfernung. Modelle und Datensätze aus unseren 400 Trainingsdurchläufen sind über dieses Repository verfügbar.