HunyuanVideo

HunyuanVideo führt das Transformer-Design ein und verwendet einen Full Attention-Mechanismus für die einheitliche Generierung von Bildern und Videos. Konkret nutzen wir ein hybrides Modell-Design "Dual-stream to Single-stream" für die Video-Generierung. In der Dual-Stream-Phase werden Video- und Text-Tokens unabhängig durch mehrere Transformer-Blöcke verarbeitet, sodass jede Modalität ihre eigenen geeigneten Modulationsmechanismen ohne Störungen erlernen kann. In der Single-Stream-Phase verketten wir die Video- und Text-Tokens und leiten sie in nachfolgende Transformer-Blöcke weiter, um eine effektive multimodale Informationsfusion zu erreichen. Dieses Design erfasst komplexe Interaktionen zwischen visuellen und semantischen Informationen und verbessert die Gesamtleistung des Modells.