LightReasoner

Les grands modèles de langage (LLMs) ont montré des progrès remarquables en matière de raisonnement, souvent grâce à un ajustement supervisé (SFT). Cependant, le SFT est gourmand en ressources, reposant sur de grands ensembles de données soigneusement sélectionnées, des démonstrations échantillonnées par rejet et une optimisation uniforme sur tous les tokens, même si seule une fraction a une valeur d'apprentissage significative. Dans ce travail, nous explorons une idée contre-intuitive : les petits modèles de langage (SLMs) peuvent-ils enseigner aux grands modèles de langage (LLMs) en révélant des moments de raisonnement de haute valeur qui reflètent la force unique de ces derniers ? Nous proposons LightReasoner, un cadre novateur qui exploite la divergence comportementale entre un modèle expert plus fort (LLM) et un modèle amateur plus faible (SLM). LightReasoner fonctionne en deux étapes : (1) une étape d'échantillonnage qui identifie des moments critiques de raisonnement et construit des exemples de supervision capturant l'avantage de l'expert à travers le contraste expert-amateur, et (2) une étape d'ajustement qui aligne le modèle expert avec ces exemples distillés, amplifiant ses forces de raisonnement.