Datablations

Nous étudions la mise à l'échelle des modèles de langage dans des régimes contraints par les données. Nous réalisons un grand nombre d'expériences en variant l'étendue de la répétition des données et le budget de calcul, allant jusqu'à 900 milliards de tokens d'entraînement et des modèles de 9 milliards de paramètres. Sur la base de nos exécutions, nous proposons et validons empiriquement une loi de mise à l'échelle pour l'optimalité du calcul qui prend en compte la valeur décroissante des tokens répétés et des paramètres excédentaires. Nous expérimentons également des approches pour atténuer la rareté des données, y compris l'augmentation du jeu de données d'entraînement avec des données de code, le filtrage de perplexité et la dé-duplication. Les modèles et jeux de données de nos 400 exécutions d'entraînement sont disponibles via ce dépôt.