HunyuanCustom

La génération de vidéos personnalisées vise à produire des vidéos mettant en avant des sujets spécifiques sous des conditions flexibles définies par l'utilisateur, mais les méthodes existantes peinent souvent à maintenir la cohérence d'identité et à gérer des modalités d'entrée limitées. Dans cet article, nous proposons HunyuanCustom, un cadre de génération de vidéos personnalisées multimodal qui met l'accent sur la cohérence du sujet tout en prenant en charge les conditions d'image, d'audio, de vidéo et de texte. S'appuyant sur HunyuanVideo, notre modèle aborde d'abord la tâche de génération conditionnée par image et texte en introduisant un module de fusion texte-image basé sur LLaVA pour améliorer la compréhension multimodale, ainsi qu'un module d'amélioration d'ID d'image qui utilise la concaténation temporelle pour renforcer les caractéristiques d'identité à travers les images. Pour permettre la génération conditionnée par audio et vidéo, nous proposons également des mécanismes d'injection de conditions spécifiques à chaque modalité : un module AudioNet qui atteint un alignement hiérarchique via une attention croisée spatiale, et un module d'injection guidé par vidéo qui intègre une vidéo conditionnelle compressée latente à travers un réseau d'alignement de caractéristiques basé sur patchify.