PerceptionBench

PerceptionBench est un benchmark conçu pour évaluer les capacités de perception visuelle atomique des modèles de langage multimodaux de grande taille (MLLMs). Il aborde les limitations des benchmarks existants en isolant les erreurs perceptuelles des échecs de raisonnement ou de connaissance du domaine. Le benchmark comprend 3 000 questions vérifiées qui ciblent dix capacités perceptuelles atomiques, offrant une approche structurée pour évaluer et diagnostiquer les limites de la perception visuelle des MLLMs.