HunyuanCustom

Die benutzerdefinierte Videoerzeugung zielt darauf ab, Videos mit spezifischen Themen unter flexiblen, vom Benutzer definierten Bedingungen zu produzieren, doch bestehende Methoden kämpfen oft mit der Identitätskonsistenz und begrenzten Eingabemodalitäten. In diesem Papier schlagen wir HunyuanCustom vor, ein multimodales Framework zur benutzerdefinierten Videoerzeugung, das die Konsistenz des Themas betont und gleichzeitig Bild-, Audio-, Video- und Textbedingungen unterstützt. Basierend auf HunyuanVideo adressiert unser Modell zunächst die Aufgabe der bild-text-abhängigen Erzeugung, indem es ein Text-Bild-Fusionsmodul auf der Grundlage von LLaVA einführt, um das multimodale Verständnis zu verbessern, zusammen mit einem Bild-ID-Verbesserungsmodul, das zeitliche Verkettung nutzt, um Identitätsmerkmale über die Frames hinweg zu verstärken. Um die audio- und videoabhängige Erzeugung zu ermöglichen, schlagen wir zudem modalitiespezifische Bedingungsinjektionsmechanismen vor: ein AudioNet-Modul, das hierarchische Ausrichtung über räumliche Kreuzaufmerksamkeit erreicht, und ein videogetriebenes Injektionsmodul, das latent-komprimiertes bedingtes Video durch ein patchify-basiertes Merkmalsausrichtungsnetzwerk integriert.