PerceptionBench

PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models

LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source

Über

PerceptionBench ist ein Benchmark, der entwickelt wurde, um die atomaren visuellen Wahrnehmungsfähigkeiten von multimodalen großen Sprachmodellen (MLLMs) zu bewerten. Es adressiert die Einschränkungen bestehender Benchmarks, indem es Wahrnehmungsfehler von Fehlern in der Argumentation oder im Fachwissen isoliert. Der Benchmark umfasst 3.000 verifizierte Fragen, die zehn atomare Wahrnehmungsfähigkeiten ansprechen und einen strukturierten Ansatz bieten, um die Grenzen der visuellen Wahrnehmung von MLLMs zu bewerten und zu diagnostizieren.

Open Source Health

Not enough history
Stars
206
Forks
11
License
Apache-2.0
Last commit
2 months ago
Python

Verwandte Kategorien

Nutzt du PerceptionBench?

Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.

Zu meinem Stack hinzufügen

Anbieter

Moonshot AI

Open-source projects on GitHub: Kimi-Dev, MoonEP and Checkpoint Engine

Vendor-Profil anzeigen

Mehr von Moonshot AI