LLM Speedrunner
The Automated LLM Speedrunning Benchmark measures how well LLM agents can reproduce previous innovations and discover new ones in language modeling.
About
Il Benchmark automatizzato LLM Speedrunning trasforma il Speedrun di NanoGPT in una valutazione della capacità degli agenti LLM all'avanguardia di riprodurre scoperte scientifiche. In questo benchmark, un agente LLM ha il compito di riprodurre le innovazioni dietro ciascuno dei record di Speedrun di NanoGPT, quando gli viene fornita una descrizione dell'innovazione. Questi suggerimenti possono essere impostati in uno dei tre formati: pseudocodice della modifica (livello 1), descrizione testuale (livello 2), documento Markdown che descrive il miglioramento (livello 3). Attualmente, nessun modello all'avanguardia è in grado di riprodurre il speedrun guidato da esseri umani, anche quando riceve i suggerimenti di pseudocodice.
Open Source Health
- Stars
- 145
- Forks
- 15
- License
- Not stated
- Last commit
- 5 months ago
Alternative a LLM Speedrunner
- RPG_KDD2025by FacebookresearchQuesto repository fornisce il codice per implementare RPG descritto nel nostro articolo KDD'25 "Generazione di ID semantici lunghi in parallelo per raccomandazioni".
- Daggerby Daggerla pila software mancante per CI
- Seamless Communicationby FacebookresearchModelli Fondamentali per Traduzione Avanzata di Parlato e Testo
- OrienterNetby FacebookresearchCodice sorgente per l'articolo "OrienterNet Localizzazione Visiva in Mappe Pubbliche 2D con Abbinamento Neurale"
- Matrixby FacebookresearchMatrix (Multi-Agent daTa geneRation Infra e eXperimentation framework) è un motore versatile per la generazione di dati conversazionali multi-agente.
Resources & Links
Related Categories
Usi LLM Speedrunner?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Facebookresearch
Publisher of Fairseq
