LLM Speedrunner

El Benchmark automatizado de LLM Speedrunning convierte el Speedrun de NanoGPT en una evaluación de la capacidad de los agentes de LLM de vanguardia para reproducir hallazgos científicos. En este benchmark, se le encarga a un agente de LLM reproducir las innovaciones detrás de cada uno de los récords de Speedrun de NanoGPT, cuando se le da acceso a una descripción de la innovación. Estas pistas pueden establecerse en cualquiera de los tres formatos: pseudocódigo del cambio (nivel 1), descripción en texto (nivel 2), documento en Markdown que describe la mejora (nivel 3). Actualmente, ningún modelo de vanguardia es capaz de reproducir el speedrun impulsado por humanos, incluso cuando se le dan las pistas de pseudocódigo.