VisCPM

VisCPM è una famiglia di modelli multimodali grandi open-source, che supportano capacità di conversazione multimodale (modello VisCPM-Chat) e capacità di generazione di testo in immagine (modello VisCPM-Paint) sia in cinese che in inglese, raggiungendo prestazioni all'avanguardia tra i modelli multimodali open-source cinesi. VisCPM è addestrato sulla base del grande modello di linguaggio CPM-Bee con 10B parametri, fondendo l'encoder visivo (Muffin) e il decoder visivo (Diffusion-UNet) per supportare input e output visivi. Grazie alla buona capacità bilingue di CPM-Bee, VisCPM può essere pre-addestrato solo con dati multimodali in inglese e generalizzare bene per raggiungere capacità multimodali promettenti in cinese.