HunyuanVideo

HunyuanVideo introduce il design Transformer e impiega un meccanismo di Full Attention per la generazione unificata di immagini e video. In particolare, utilizziamo un design di modello ibrido "Dual-stream to Single-stream" per la generazione video. Nella fase dual-stream, i token video e testo vengono elaborati in modo indipendente attraverso più blocchi Transformer, consentendo a ciascuna modalità di apprendere i propri meccanismi di modulazione appropriati senza interferenze. Nella fase single-stream, concatenamo i token video e testo e li alimentiamo nei blocchi Transformer successivi per una fusione efficace delle informazioni multimodali. Questo design cattura interazioni complesse tra informazioni visive e semantiche, migliorando le prestazioni complessive del modello.