Multi-SpatialMLLM

Nous présentons Multi-SpatialMLLM pour doter les MLLMs d'une compréhension spatiale robuste multi-cadre en intégrant la perception de profondeur, la correspondance visuelle et la perception dynamique. Au cœur de notre approche se trouve le jeu de données MultiSPA, une collection novatrice et à grande échelle de plus de 27 millions d'échantillons couvrant diverses scènes en 3D et 4D. En plus de MultiSPA, nous introduisons une évaluation complète qui teste un large éventail de tâches spatiales selon des métriques uniformes. Notre modèle obtient des gains significatifs par rapport aux références et aux systèmes propriétaires, démontrant un raisonnement multi-cadre scalable et généralisable. Nous observons également des avantages multitâches et des indications précoces de capacités émergentes dans des scénarios difficiles, et nous montrons que notre modèle peut servir d'annotateur de récompenses multi-cadre pour la robotique.