HunyuanCustom

La generación de videos personalizados tiene como objetivo producir videos con temas específicos bajo condiciones flexibles definidas por el usuario, sin embargo, los métodos existentes a menudo luchan con la consistencia de identidad y modalidades de entrada limitadas. En este documento, proponemos HunyuanCustom, un marco de generación de videos personalizados multimodal que enfatiza la consistencia del sujeto mientras admite condiciones de imagen, audio, video y texto. Basado en HunyuanVideo, nuestro modelo primero aborda la tarea de generación condicionada por imagen y texto introduciendo un módulo de fusión de texto-imagen basado en LLaVA para mejorar la comprensión multimodal, junto con un módulo de mejora de ID de imagen que aprovecha la concatenación temporal para reforzar las características de identidad a través de los fotogramas. Para permitir la generación condicionada por audio y video, también proponemos mecanismos de inyección de condiciones específicos de modalidad: un módulo AudioNet que logra alineación jerárquica a través de atención cruzada espacial, y un módulo de inyección impulsado por video que integra video condicional comprimido latente a través de una red de alineación de características basada en patchify.