ReST-MCTS

Desarrollamos un enfoque de autoentrenamiento reforzado, llamado ReST-MCTS*, basado en la integración de la guía de recompensa de proceso con la búsqueda de árbol MCTS* para recopilar trazas de razonamiento de mayor calidad, así como el valor por paso para entrenar modelos de política y recompensa. ReST-MCTS* elude la anotación manual por paso que se utiliza típicamente para entrenar recompensas de proceso mediante el aprendizaje reforzado basado en búsqueda de árbol: Dadas respuestas finales correctas de oráculo, ReST-MCTS* puede inferir las recompensas de proceso correctas al estimar la probabilidad de que este paso pueda ayudar a llegar a la respuesta correcta. Estas recompensas inferidas cumplen dos propósitos: actúan como objetivos de valor para refinar aún más el modelo de recompensa de proceso y también facilitan la selección de trazas de alta calidad para el autoentrenamiento del modelo de política.