VideoPrism

VideoPrism è un codificatore video di uso generale progettato per gestire un ampio spettro di compiti di comprensione video, inclusi classificazione, recupero, localizzazione, sottotitolazione e risposta a domande. È pre-addestrato su un vasto e diversificato set di dati: 1 miliardo di coppie immagine-testo da WebLI, 36 milioni di coppie video-testo di alta qualità e 582 milioni di clip video con testo parallelo rumoroso o generato da macchina (soggetto a cancellazione dei dati). L'approccio di pre-addestramento è progettato per questi dati ibridi, per apprendere sia dalle coppie video-testo che dai video stessi. VideoPrism è abbastanza facile da adattare a nuovi compiti di comprensione video e raggiunge prestazioni all'avanguardia in 31 su 33 benchmark pubblici di comprensione video utilizzando un unico modello congelato.