OmniWeaving

Wir schlagen OmniWeaving vor, ein Omni-Level-Videoerzeugungsmodell mit leistungsstarken multimodalen Kompositions- und argumentationsinformierten Fähigkeiten. Durch die Nutzung eines großangelegten Vortrainingsdatensatzes, der verschiedene kompositorische und argumentationserweiterte Szenarien umfasst, lernt OmniWeaving, zeitlich miteinander verbundene Texte, Mehrfachbilder und Videoeingaben zu verknüpfen, während es als intelligenter Agent fungiert, um komplexe Benutzerabsichten für die anspruchsvolle Videoerstellung abzuleiten. Darüber hinaus stellen wir IntelligentVBench vor, den ersten umfassenden Benchmark, der entwickelt wurde, um die nächste Stufe der intelligenten einheitlichen Videoerzeugung rigoros zu bewerten. Umfassende Experimente zeigen, dass OmniWeaving eine SoTA-Leistung unter Open-Source-einheitlichen Modellen erreicht.