VideoPrism

VideoPrism est un encodeur vidéo polyvalent conçu pour gérer un large éventail de tâches de compréhension vidéo, y compris la classification, la récupération, la localisation, le sous-titrage et la réponse aux questions. Il est pré-entraîné sur un ensemble de données massif et diversifié : 1 milliard de paires image-texte de WebLI, 36 millions de paires vidéo-texte de haute qualité et 582 millions de clips vidéo avec du texte parallèle bruyant ou généré par machine (sujet à effacement des données). L'approche de pré-entraînement est conçue pour ces données hybrides, afin d'apprendre à la fois à partir des paires vidéo-texte et des vidéos elles-mêmes. VideoPrism est assez facile à adapter à de nouvelles tâches de compréhension vidéo et atteint des performances de pointe sur 31 des 33 benchmarks publics de compréhension vidéo en utilisant un seul modèle gelé.