MoMA

Nous présentons MoMA : un modèle d'image personnalisé à vocabulaire ouvert et sans entraînement qui possède des capacités flexibles de zéro coup. Alors que les modèles fondamentaux de texte à image évoluent rapidement, la demande de traduction robuste de l'image à l'image augmente. Pour répondre à ce besoin, MoMA se spécialise dans la génération d'images personnalisées axées sur le sujet. En utilisant un modèle de langage large multimodal (MLLM) open-source, nous formons MoMA pour qu'il joue un double rôle à la fois d'extracteur de caractéristiques et de générateur. Cette approche synergie efficacement les informations d'image de référence et de texte pour produire des caractéristiques d'image précieuses, facilitant un modèle de diffusion d'image. Pour mieux tirer parti des caractéristiques générées, nous introduisons également une nouvelle méthode de raccourci d'auto-attention qui transfère efficacement les caractéristiques d'image à un modèle de diffusion d'image, améliorant la ressemblance de l'objet cible dans les images générées. Remarquablement, en tant que module plug-and-play sans réglage, notre modèle nécessite seulement une image de référence et surpasse les méthodes existantes dans la génération d'images avec une haute fidélité de détail, une meilleure préservation de l'identité et une fidélité à l'invite. Nous nous engageons à rendre notre travail open-source, offrant ainsi un accès universel à ces avancées.