VisCPM

VisCPM ist eine Familie von Open-Source großen multimodalen Modellen, die multimodale Konversationsfähigkeiten (VisCPM-Chat-Modell) und Text-zu-Bild-Generierungsfähigkeiten (VisCPM-Paint-Modell) sowohl in Chinesisch als auch in Englisch unterstützen und dabei eine hervorragende Leistung unter chinesischen Open-Source multimodalen Modellen erzielen. VisCPM wird auf der Grundlage des großen Sprachmodells CPM-Bee mit 10B Parametern trainiert und kombiniert den visuellen Encoder (Muffin) und den visuellen Decoder (Diffusion-UNet), um visuelle Eingaben und Ausgaben zu unterstützen. Dank der guten bilingualen Fähigkeit von CPM-Bee kann VisCPM nur mit englischen multimodalen Daten vortrainiert werden und gut generalisieren, um vielversprechende chinesische multimodale Fähigkeiten zu erreichen.