ReST-MCTS

Sviluppiamo un approccio di autoformazione rinforzata, chiamato ReST-MCTS*, basato sull'integrazione della guida alla ricompensa di processo con la ricerca ad albero MCTS* per raccogliere tracce di ragionamento di qualità superiore, così come il valore per passo per addestrare modelli di politica e di ricompensa. ReST-MCTS* elude l'annotazione manuale per passo tipicamente utilizzata per addestrare le ricompense di processo tramite apprendimento rinforzato basato su ricerca ad albero: Date risposte finali corrette di oracle, ReST-MCTS* è in grado di inferire le corrette ricompense di processo stimando la probabilità che questo passo possa aiutare a giungere alla risposta corretta. Queste ricompense inferite servono a due scopi: fungono da obiettivi di valore per affinare ulteriormente il modello di ricompensa di processo e facilitano anche la selezione di tracce di alta qualità per l'autoformazione del modello di politica.