FastComposer

Los modelos de difusión destacan en la generación de texto a imagen, especialmente en la generación impulsada por sujetos para imágenes personalizadas. Sin embargo, los métodos existentes son ineficientes debido al ajuste fino específico del sujeto, que es intensivo en cálculos y dificulta un despliegue eficiente. Además, los métodos existentes tienen dificultades con la generación multi-sujeto, ya que a menudo mezclan características entre los sujetos. Presentamos FastComposer, que permite una generación de texto a imagen multi-sujeto personalizada y eficiente sin ajuste fino. FastComposer utiliza embeddings de sujeto extraídos por un codificador de imágenes para aumentar la condicionamiento textual genérico en los modelos de difusión, permitiendo la generación de imágenes personalizadas basadas en imágenes de sujetos e instrucciones textuales con solo pasos hacia adelante. Para abordar el problema de la mezcla de identidades en la generación multi-sujeto, FastComposer propone una supervisión de localización de atención cruzada durante el entrenamiento, forzando la atención de los sujetos de referencia a localizarse en las regiones correctas de las imágenes objetivo. Condicionar ingenuamente sobre los embeddings de sujeto resulta en un sobreajuste a los sujetos.