LatentSync

Nous présentons LatentSync, une méthode de lip-sync de bout en bout basée sur des modèles de diffusion latente conditionnés par l'audio, sans représentation intermédiaire du mouvement. Cela diverge des méthodes de lip-sync basées sur la diffusion précédentes qui reposent sur la diffusion dans l'espace pixel ou la génération en deux étapes. Notre cadre peut tirer parti des capacités de Stable Diffusion pour modéliser directement des corrélations audio-visuelles complexes.