FastComposer

I modelli di diffusione eccellono nella generazione di testo in immagine, specialmente nella generazione guidata da soggetti per immagini personalizzate. Tuttavia, i metodi esistenti sono inefficienti a causa della messa a punto specifica per soggetto, che è intensiva in termini di calcolo e ostacola un'implementazione efficiente. Inoltre, i metodi esistenti faticano con la generazione multi-soggetto poiché spesso mescolano caratteristiche tra i soggetti. Presentiamo FastComposer, che consente una generazione di testo in immagine multi-soggetto personalizzata ed efficiente senza messa a punto. FastComposer utilizza embedding di soggetto estratti da un codificatore di immagini per aumentare la condizionamento testuale generico nei modelli di diffusione, consentendo la generazione di immagini personalizzate basate su immagini di soggetti e istruzioni testuali con solo passaggi in avanti. Per affrontare il problema della mescolanza di identità nella generazione multi-soggetto, FastComposer propone una supervisione di localizzazione dell'attenzione incrociata durante l'addestramento, forzando l'attenzione dei soggetti di riferimento a localizzarsi nelle regioni corrette delle immagini target. Condizionare ingenuamente sugli embedding di soggetto porta a un overfitting sui soggetti.