ReST-MCTS

Nous développons une approche d'auto-formation renforcée, appelée ReST-MCTS*, basée sur l'intégration de la guidance par récompense de processus avec la recherche d'arbre MCTS* pour collecter des traces de raisonnement de meilleure qualité ainsi que la valeur par étape pour entraîner des modèles de politique et de récompense. ReST-MCTS* contourne l'annotation manuelle par étape généralement utilisée pour former des récompenses de processus par apprentissage par renforcement basé sur la recherche d'arbre : Étant donné des réponses finales correctes d'oracle, ReST-MCTS* est capable d'inférer les récompenses de processus correctes en estimant la probabilité que cette étape puisse aider à parvenir à la bonne réponse. Ces récompenses inférées servent à deux fins : elles agissent comme cibles de valeur pour affiner davantage le modèle de récompense de processus et facilitent également la sélection de traces de haute qualité pour l'auto-formation du modèle de politique.