OmniWeaving

Proponemos OmniWeaving, un modelo de generación de video a nivel omni que presenta potentes capacidades de composición multimodal e informadas por el razonamiento. Al aprovechar un conjunto de datos de preentrenamiento a gran escala que abarca diversos escenarios aumentados de composición y razonamiento, OmniWeaving aprende a vincular temporalmente texto intercalado, múltiples imágenes y entradas de video, actuando como un agente inteligente para inferir intenciones complejas del usuario para la creación sofisticada de videos. Además, introducimos IntelligentVBench, el primer benchmark integral diseñado para evaluar rigurosamente la generación de video unificado inteligente de siguiente nivel. Experimentos extensos demuestran que OmniWeaving logra un rendimiento de SoTA entre los modelos unificados de código abierto.