JustRL

JustRL démontre qu'une performance compétitive en apprentissage par renforcement pour de petits modèles de langage ne nécessite pas de pipelines complexes en plusieurs étapes ou de plannings dynamiques. En utilisant une recette minimale avec un entraînement à une seule étape et des hyperparamètres fixes, nous atteignons des résultats à la pointe de la technologie sur des tâches de raisonnement mathématique. Ce dépôt contient un script d'évaluation léger pour reproduire les résultats d'évaluation des modèles JustRL sur neuf benchmarks mathématiques difficiles.