HunyuanVideo

HunyuanVideo introduit la conception Transformer et utilise un mécanisme de Full Attention pour la génération d'images et de vidéos unifiées. Plus précisément, nous utilisons un design de modèle hybride "Dual-stream to Single-stream" pour la génération vidéo. Dans la phase dual-stream, les tokens vidéo et texte sont traités indépendamment à travers plusieurs blocs Transformer, permettant à chaque modalité d'apprendre ses propres mécanismes de modulation appropriés sans interférence. Dans la phase single-stream, nous concaténons les tokens vidéo et texte et les alimentons dans les blocs Transformer suivants pour une fusion efficace des informations multimodales. Cette conception capture les interactions complexes entre les informations visuelles et sémantiques, améliorant la performance globale du modèle.