FastComposer

Diffusionsmodelle sind besonders gut in der Text-zu-Bild-Generierung, insbesondere bei der subjektgetriebenen Generierung für personalisierte Bilder. Allerdings sind bestehende Methoden ineffizient aufgrund des subjekt-spezifischen Feintunings, das rechenintensiv ist und eine effiziente Bereitstellung behindert. Darüber hinaus haben bestehende Methoden Schwierigkeiten bei der Multi-Subject-Generierung, da sie oft Merkmale zwischen den Subjekten vermischen. Wir präsentieren FastComposer, das eine effiziente, personalisierte Multi-Subject-Text-zu-Bild-Generierung ohne Feintuning ermöglicht. FastComposer verwendet Subjekt-Embeddings, die von einem Bildencoder extrahiert werden, um die generische Text-Konditionierung in Diffusionsmodellen zu augmentieren, wodurch eine personalisierte Bildgenerierung basierend auf Subjektbildern und textuellen Anweisungen mit nur Vorwärtsdurchläufen ermöglicht wird. Um das Problem der Identitätsmischung in der Multi-Subject-Generierung anzugehen, schlägt FastComposer eine Kreuz-Attention-Lokalisierungsüberwachung während des Trainings vor, die die Aufmerksamkeit der Referenzsubjekte auf die richtigen Regionen in den Zielbildern lokalisiert. Naives Konditionieren auf Subjekt-Embeddings führt zu einer Überanpassung an die Subjekte.