HunyuanCustom

La generazione di video personalizzati mira a produrre video con soggetti specifici in base a condizioni flessibili definite dall'utente, tuttavia, i metodi esistenti spesso faticano con la coerenza dell'identità e con modalità di input limitate. In questo documento, proponiamo HunyuanCustom, un framework di generazione di video personalizzati multimodale che enfatizza la coerenza del soggetto mentre supporta condizioni di immagine, audio, video e testo. Basato su HunyuanVideo, il nostro modello affronta prima il compito di generazione condizionata da immagine e testo introducendo un modulo di fusione testo-immagine basato su LLaVA per migliorare la comprensione multimodale, insieme a un modulo di miglioramento dell'ID immagine che sfrutta la concatenazione temporale per rinforzare le caratteristiche di identità attraverso i fotogrammi. Per abilitare la generazione condizionata da audio e video, proponiamo ulteriori meccanismi di iniezione di condizioni specifici per modalità: un modulo AudioNet che raggiunge un allineamento gerarchico tramite attenzione incrociata spaziale, e un modulo di iniezione guidato da video che integra video condizionale compresso latente attraverso una rete di allineamento delle caratteristiche basata su patchify.