LLM Speedrunner
The Automated LLM Speedrunning Benchmark measures how well LLM agents can reproduce previous innovations and discover new ones in language modeling.
About
Le Benchmark automatisé LLM Speedrunning transforme le Speedrun de NanoGPT en une évaluation de la capacité des agents LLM de pointe à reproduire des découvertes scientifiques. Dans ce benchmark, un agent LLM a pour tâche de reproduire les innovations derrière chacun des records de Speedrun de NanoGPT, lorsqu'il a accès à une description de l'innovation. Ces indices peuvent être fournis dans l'un des trois formats : pseudocode du changement (niveau 1), description textuelle (niveau 2), document Markdown décrivant l'amélioration (niveau 3). Actuellement, aucun modèle de pointe n'est capable de reproduire le speedrun dirigé par des humains, même lorsqu'il reçoit les indices de pseudocode.
Open Source Health
- Stars
- 145
- Forks
- 15
- License
- Not stated
- Last commit
- 5 months ago
Alternatives à LLM Speedrunner
- RPG_KDD2025by FacebookresearchCe dépôt fournit le code pour mettre en œuvre RPG décrit dans notre article KDD'25 "Génération d'IDs sémantiques longs en parallèle pour la recommandation".
- Daggerby Daggerla pile logicielle manquante pour CI
- Seamless Communicationby FacebookresearchModèles fondamentaux pour la traduction de la parole et du texte à la pointe de la technologie.
- OrienterNetby FacebookresearchCode source pour l'article "OrienterNet Localisation Visuelle dans des Cartes Publiques 2D avec Correspondance Neuronale"
- Matrixby FacebookresearchMatrix (Multi-Agent daTa geneRation Infra et eXperimentation framework) est un moteur polyvalent pour la génération de données conversationnelles multi-agents.
Resources & Links
Related Categories
Tu utilises LLM Speedrunner ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Facebookresearch
Publisher of Fairseq
