HunyuanVideo

HunyuanVideo presenta el diseño Transformer y emplea un mecanismo de Atención Completa para la generación unificada de imágenes y videos. Específicamente, utilizamos un diseño de modelo híbrido de "Dual-stream a Single-stream" para la generación de video. En la fase de dual-stream, los tokens de video y texto se procesan de manera independiente a través de múltiples bloques Transformer, permitiendo que cada modalidad aprenda sus propios mecanismos de modulación adecuados sin interferencias. En la fase de single-stream, concatenamos los tokens de video y texto y los alimentamos en bloques Transformer subsecuentes para una fusión efectiva de información multimodal. Este diseño captura interacciones complejas entre la información visual y semántica, mejorando el rendimiento general del modelo.