VisCPM

VisCPM es una familia de modelos multimodales grandes de código abierto, que soportan capacidades de conversación multimodal (modelo VisCPM-Chat) y capacidades de generación de texto a imagen (modelo VisCPM-Paint) tanto en chino como en inglés, logrando un rendimiento destacado entre los modelos multimodales de código abierto en chino. VisCPM se entrena sobre la base del gran modelo de lenguaje CPM-Bee con 10B parámetros, fusionando el codificador visual (Muffin) y el decodificador visual (Diffusion-UNet) para soportar entradas y salidas visuales. Gracias a la buena capacidad bilingüe de CPM-Bee, VisCPM puede ser preentrenado solo con datos multimodales en inglés y generalizar bien para lograr capacidades multimodales prometedoras en chino.