VideoPrism

VideoPrism ist ein universeller Videoencoder, der entwickelt wurde, um ein breites Spektrum an Aufgaben im Videoverständnis zu bewältigen, einschließlich Klassifikation, Retrieval, Lokalisierung, Beschriftung und Fragenbeantwortung. Es ist auf einem massiven und vielfältigen Datensatz vortrainiert: 1 Milliarde Bild-Text-Paare von WebLI, 36 Millionen qualitativ hochwertige Video-Text-Paare und 582 Millionen Videoclips mit rauschhaften oder maschinell generierten Paralleltexten (unterliegt Datenlöschung). Der Vortrainingsansatz ist für diese hybriden Daten konzipiert, um sowohl aus Video-Text-Paaren als auch aus den Videos selbst zu lernen. VideoPrism ist relativ einfach an neue Aufgaben im Videoverständnis anzupassen und erreicht eine Spitzenleistung bei 31 von 33 öffentlichen Benchmarks für Videoverständnis mit einem einzigen eingefrorenen Modell.