Datablations

Indaghiamo la scalabilità dei modelli di linguaggio in regimi vincolati dai dati. Eseguiamo un ampio insieme di esperimenti variando l'estensione della ripetizione dei dati e il budget computazionale, fino a 900 miliardi di token di addestramento e modelli con 9 miliardi di parametri. Sulla base delle nostre esecuzioni, proponiamo e convalidiamo empiricamente una legge di scalabilità per l'ottimalità computazionale che tiene conto del valore decrescente dei token ripetuti e dei parametri in eccesso. Sperimentiamo anche approcci per mitigare la scarsità di dati, tra cui l'ampliamento del set di dati di addestramento con dati di codice, il filtraggio della perplessità e la deduplicazione. I modelli e i set di dati delle nostre 400 esecuzioni di addestramento sono disponibili tramite questo repository.