LightReasoner

I modelli di linguaggio grandi (LLMs) hanno dimostrato notevoli progressi nel ragionamento, spesso attraverso la messa a punto supervisionata (SFT). Tuttavia, la SFT è intensiva in termini di risorse, basandosi su grandi set di dati curati, dimostrazioni campionate per rifiuto e ottimizzazione uniforme su tutti i token, anche se solo una frazione ha un valore di apprendimento significativo. In questo lavoro, esploriamo un'idea controintuitiva: i modelli di linguaggio più piccoli (SLMs) possono insegnare ai modelli di linguaggio più grandi (LLMs) rivelando momenti di ragionamento di alto valore che riflettono la forza unica di questi ultimi? Proponiamo LightReasoner, un nuovo framework che sfrutta la divergenza comportamentale tra un modello esperto più forte (LLM) e un modello amatoriale più debole (SLM). LightReasoner opera in due fasi: (1) una fase di campionamento che individua momenti critici di ragionamento e costruisce esempi di supervisione che catturano il vantaggio dell'esperto attraverso il contrasto esperto-amatoriale, e (2) una fase di messa a punto che allinea il modello esperto con questi esempi distillati, amplificando le sue forze di ragionamento.