LightReasoner

Los modelos de lenguaje grandes (LLMs) han demostrado un progreso notable en el razonamiento, a menudo a través de la afinación supervisada (SFT). Sin embargo, la SFT es intensiva en recursos, dependiendo de grandes conjuntos de datos curados, demostraciones muestreadas por rechazo y optimización uniforme en todos los tokens, aunque solo una fracción tiene un valor de aprendizaje significativo. En este trabajo, exploramos una idea contraintuitiva: ¿pueden los modelos de lenguaje más pequeños (SLMs) enseñar a los modelos de lenguaje más grandes (LLMs) al revelar momentos de razonamiento de alto valor que reflejan la fortaleza única de estos últimos? Proponemos LightReasoner, un marco novedoso que aprovecha la divergencia de comportamiento entre un modelo experto más fuerte (LLM) y un modelo amateur más débil (SLM). LightReasoner opera en dos etapas: (1) una etapa de muestreo que identifica momentos críticos de razonamiento y construye ejemplos de supervisión que capturan la ventaja del experto a través del contraste experto-amateur, y (2) una etapa de afinación que alinea el modelo experto con estos ejemplos destilados, amplificando sus fortalezas de razonamiento.