PerceptionBench

PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models

LLM OrchestrationOpen Source AI & Machine LearningOpen Source

About

PerceptionBench è un benchmark progettato per valutare le capacità di percezione visiva atomica dei modelli di linguaggio multimodali di grandi dimensioni (MLLMs). Affronta le limitazioni dei benchmark esistenti isolando gli errori percettivi dai fallimenti di ragionamento o di conoscenza del dominio. Il benchmark include 3.000 domande verificate che mirano a dieci capacità percettive atomiche, fornendo un approccio strutturato per valutare e diagnosticare i confini della percezione visiva degli MLLMs.

Open Source Health

Not enough history
Stars
206
Forks
11
License
Apache-2.0
Last commit
2 months ago
Python

Related Categories

Usi PerceptionBench?

Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.

Aggiungi al mio stack

Vendor

Moonshot AI

Open-source projects on GitHub: Kimi-Dev, MoonEP and Checkpoint Engine

View vendor profile

More by Moonshot AI