VideoPrism

VideoPrism es un codificador de video de propósito general diseñado para manejar un amplio espectro de tareas de comprensión de video, incluyendo clasificación, recuperación, localización, subtitulado y respuesta a preguntas. Está preentrenado en un conjunto de datos masivo y diverso: 1 mil millones de pares de imagen-texto de WebLI, 36 millones de pares de video-texto de alta calidad y 582 millones de clips de video con texto paralelo ruidoso o generado por máquina (sujeto a eliminación de datos). El enfoque de preentrenamiento está diseñado para estos datos híbridos, para aprender tanto de los pares de video-texto como de los propios videos. VideoPrism es bastante fácil de adaptar a nuevas tareas de comprensión de video y logra un rendimiento de vanguardia en 31 de 33 benchmarks públicos de comprensión de video utilizando un único modelo congelado.