ReST-MCTS

Wir entwickeln einen verstärkten Selbsttrainingsansatz, genannt ReST-MCTS*, der auf der Integration von prozessgesteuerten Belohnungen mit der Baum-Suche MCTS* basiert, um qualitativ hochwertigere Schlussfolgerungsnachweise zu sammeln sowie den Wert pro Schritt zu ermitteln, um Politik- und Belohnungsmodelle zu trainieren. ReST-MCTS* umgeht die manuelle Annotation pro Schritt, die typischerweise zum Trainieren von Prozessbelohnungen durch baumgestütztes verstärkendes Lernen verwendet wird: Angesichts von Oracle-Endgültigen korrekten Antworten kann ReST-MCTS* die korrekten Prozessbelohnungen ableiten, indem es die Wahrscheinlichkeit schätzt, dass dieser Schritt zur richtigen Antwort führt. Diese abgeleiteten Belohnungen dienen doppelten Zwecken: Sie fungieren als Wertziele zur weiteren Verfeinerung des Prozessbelohnungsmodells und erleichtern auch die Auswahl hochwertiger Nachweise für das Selbsttraining des Politikmodells.