FastComposer

Les modèles de diffusion excellent dans la génération de texte à image, en particulier dans la génération axée sur les sujets pour des images personnalisées. Cependant, les méthodes existantes sont inefficaces en raison de l'ajustement fin spécifique au sujet, qui est intensif en calculs et entrave un déploiement efficace. De plus, les méthodes existantes ont du mal avec la génération multi-sujets car elles mélangent souvent les caractéristiques entre les sujets. Nous présentons FastComposer, qui permet une génération de texte à image multi-sujets personnalisée et efficace sans ajustement fin. FastComposer utilise des embeddings de sujet extraits par un encodeur d'image pour augmenter la conditionnement textuel générique dans les modèles de diffusion, permettant la génération d'images personnalisées basées sur des images de sujets et des instructions textuelles avec seulement des passes avant. Pour résoudre le problème de mélange d'identité dans la génération multi-sujets, FastComposer propose une supervision de localisation d'attention croisée pendant l'entraînement, forçant l'attention des sujets de référence à se localiser dans les bonnes régions des images cibles. Conditionner naïvement sur les embeddings de sujet entraîne un surajustement aux sujets.