LLM Speedrunner

Der automatisierte LLM Speedrunning Benchmark verwandelt den NanoGPT Speedrun in eine Evaluierung der Fähigkeit von fortschrittlichen LLM-Agenten, wissenschaftliche Erkenntnisse zu reproduzieren. In diesem Benchmark wird ein LLM-Agent damit beauftragt, die Innovationen hinter jedem der NanoGPT Speedrun-Rekorde zu reproduzieren, wenn ihm eine Beschreibung der Innovation zur Verfügung steht. Diese Hinweise können in einem von drei Formaten bereitgestellt werden: Pseudocode der Änderung (Stufe 1), Textbeschreibung (Stufe 2), Markdown-Papier, das die Verbesserung beschreibt (Stufe 3). Derzeit ist kein fortschrittliches Modell in der Lage, den von Menschen durchgeführten Speedrun zu reproduzieren, selbst wenn es die Pseudocode-Hinweise erhält.