VisCPM

VisCPM est une famille de modèles multimodaux grands et open-source, qui supportent des capacités de conversation multimodale (modèle VisCPM-Chat) et des capacités de génération de texte à image (modèle VisCPM-Paint) en chinois et en anglais, atteignant des performances de pointe parmi les modèles multimodaux open-source chinois. VisCPM est entraîné sur la base du grand modèle de langage CPM-Bee avec 10B paramètres, fusionnant l'encodeur visuel (Muffin) et le décodeur visuel (Diffusion-UNet) pour supporter les entrées et sorties visuelles. Grâce à la bonne capacité bilingue de CPM-Bee, VisCPM peut être pré-entraîné uniquement avec des données multimodales en anglais et bien généraliser pour atteindre des capacités multimodales prometteuses en chinois.