Multi-SpatialMLLM

Presentamos Multi-SpatialMLLM para dotar a los MLLMs de una comprensión espacial robusta de múltiples cuadros mediante la integración de percepción de profundidad, correspondencia visual y percepción dinámica. Central a nuestro enfoque está el conjunto de datos MultiSPA, una colección novedosa y a gran escala de más de 27 millones de muestras que abarcan diversas escenas en 3D y 4D. Junto a MultiSPA, introducimos un benchmark integral que evalúa un amplio espectro de tareas espaciales bajo métricas uniformes. Nuestro modelo logra ganancias significativas sobre las líneas base y sistemas propietarios, demostrando razonamiento multi-cuadro escalable y generalizable. Además, observamos beneficios de multitarea e indicios tempranos de capacidades emergentes en escenarios desafiantes, y mostramos que nuestro modelo puede servir como un anotador de recompensas multi-cuadro para robótica.