OmniWeaving

Proponiamo OmniWeaving, un modello di generazione video a livello omni che presenta potenti capacità di composizione multimodale e informate dal ragionamento. Sfruttando un vasto set di dati di pre-addestramento che comprende diversi scenari aumentati di composizione e ragionamento, OmniWeaving impara a legare temporalmente testi intrecciati, più immagini e input video, agendo come un agente intelligente per dedurre complesse intenzioni dell'utente per la creazione sofisticata di video. Inoltre, introduciamo IntelligentVBench, il primo benchmark completo progettato per valutare rigorosamente la generazione video unificata intelligente di livello successivo. Esperimenti estesi dimostrano che OmniWeaving raggiunge prestazioni di SoTA tra i modelli unificati open-source.