Datablations

Investigamos el escalado de modelos de lenguaje en regímenes con restricciones de datos. Realizamos un gran conjunto de experimentos variando la extensión de la repetición de datos y el presupuesto computacional, alcanzando hasta 900 mil millones de tokens de entrenamiento y modelos de 9 mil millones de parámetros. Con base en nuestras ejecuciones, proponemos y validamos empíricamente una ley de escalado para la optimalidad computacional que tiene en cuenta el valor decreciente de los tokens repetidos y los parámetros en exceso. También experimentamos con enfoques que mitigan la escasez de datos, incluyendo la ampliación del conjunto de datos de entrenamiento con datos de código, filtrado de perplejidad y deduplicación. Los modelos y conjuntos de datos de nuestras 400 ejecuciones de entrenamiento están disponibles a través de este repositorio.