OmniWeaving

Nous proposons OmniWeaving, un modèle de génération vidéo à niveau omni présentant des capacités de composition multimodale puissantes et informées par le raisonnement. En tirant parti d'un ensemble de données de préentraînement à grande échelle qui englobe divers scénarios augmentés de composition et de raisonnement, OmniWeaving apprend à lier temporellement des textes entrelacés, des images multiples et des entrées vidéo tout en agissant comme un agent intelligent pour inférer des intentions complexes de l'utilisateur pour une création vidéo sophistiquée. De plus, nous introduisons IntelligentVBench, le premier benchmark complet conçu pour évaluer rigoureusement la génération vidéo unifiée intelligente de niveau supérieur. Des expériences approfondies démontrent qu'OmniWeaving atteint des performances de SoTA parmi les modèles unifiés open-source.