Multi-SpatialMLLM

Wir präsentieren Multi-SpatialMLLM, um MLLMs mit robustem Multi-Frame-Raumverständnis auszustatten, indem wir Tiefenwahrnehmung, visuelle Entsprechung und dynamische Wahrnehmung integrieren. Zentral für unseren Ansatz ist der MultiSPA-Datensatz, eine neuartige, groß angelegte Sammlung von mehr als 27 Millionen Proben, die verschiedene 3D- und 4D-Szenen abdecken. Neben MultiSPA führen wir einen umfassenden Benchmark ein, der ein breites Spektrum an räumlichen Aufgaben unter einheitlichen Metriken testet. Unser Modell erzielt signifikante Fortschritte im Vergleich zu Baselines und proprietären Systemen und zeigt skalierbares, generalisierbares Multi-Frame-Reasoning. Wir beobachten zudem Multi-Task-Vorteile und frühe Hinweise auf emergente Fähigkeiten in herausfordernden Szenarien und zeigen, dass unser Modell als Multi-Frame-Belohnungsannotator für Robotik dienen kann.