ComfyUI-HyperLoRA

La synthèse de portraits personnalisée, essentielle dans des domaines comme le divertissement social, a récemment fait des progrès significatifs. Les méthodes de réglage fin basées sur les personnes, telles que LoRA et DreamBooth, peuvent produire des résultats photoréalistes, mais nécessitent un entraînement sur des échantillons individuels, consommant du temps et des ressources et posant un risque instable. Les techniques basées sur des adaptateurs, telles que IP-Adapter, figent les paramètres du modèle de base et utilisent une architecture de plug-in pour permettre l'inférence à zéro coup, mais elles présentent souvent un manque de naturel et d'authenticité, qui ne doivent pas être négligés dans les tâches de synthèse de portraits. Dans cet article, nous introduisons une méthode de génération adaptative efficace en paramètres, à savoir HyperLoRA, qui utilise un réseau de plug-in adaptatif pour générer des poids LoRA, fusionnant la performance supérieure de LoRA avec la capacité à zéro coup du schéma d'adaptateur. Grâce à notre structure de réseau soigneusement conçue et à notre stratégie d'entraînement, nous atteignons une génération de portraits personnalisés à zéro coup (soutenant à la fois des entrées d'image uniques et multiples) avec un haut degré de photoréalisme, de fidélité et d'éditabilité.