Web Bench

Web-Bench est un benchmark conçu pour évaluer la performance des LLMs dans le développement web réel. Web-Bench contient 50 projets, chacun composé de 20 tâches avec des dépendances séquentielles. Les tâches implémentent les fonctionnalités du projet en séquence, simulant des flux de travail de développement humain dans le monde réel. Lors de la conception de Web-Bench, notre objectif est de couvrir les éléments fondamentaux du développement web : Web Standards et Web Frameworks. Étant donné l'échelle et la complexité de ces projets, qui ont été conçus par des ingénieurs avec 5 à 10 ans d'expérience, chacun représente un défi significatif. En moyenne, un seul projet prend entre 4 et 8 heures pour être complété par un ingénieur senior. Sur notre agent de benchmark donné (Web-Agent), SOTA (Claude 3.7 Sonnet) n'atteint que 25,1 % Pass@1.