Multi-SpatialMLLM

Presentiamo Multi-SpatialMLLM per dotare gli MLLM di una comprensione spaziale robusta multi-frame integrando la percezione della profondità, la corrispondenza visiva e la percezione dinamica. Centrale nel nostro approccio è il dataset MultiSPA, una collezione innovativa e su larga scala di oltre 27 milioni di campioni che coprono diverse scene in 3D e 4D. Insieme a MultiSPA, introduciamo un benchmark completo che testa un ampio spettro di compiti spaziali secondo metriche uniformi. Il nostro modello ottiene guadagni significativi rispetto alle baseline e ai sistemi proprietari, dimostrando un ragionamento multi-frame scalabile e generalizzabile. Osserviamo inoltre vantaggi multitasking e indicazioni precoci di capacità emergenti in scenari sfidanti e mostriamo che il nostro modello può servire come annotatore di ricompense multi-frame per la robotica.