Streaming Vlm
StreamingVLM: Real-Time Understanding for Infinite Video Streams
Über
StreamingVLM ermöglicht ein Echtzeit, stabiles Verständnis von effektiv unendlichem Video, indem ein kompaktes KV-Cache (Key-Value-Cache) gehalten und das Training mit Streaming-Inferenz ausgerichtet wird. Es vermeidet quadratische Kosten und Fallstricke des gleitenden Fensters, läuft mit bis zu 8 FPS auf einem einzelnen H100 und erzielt 66,18 % im Vergleich zu GPT-4o mini auf einem neuen Langvideo-Benchmark. Es verbessert auch das allgemeine VQA (Visual Question Answering), ohne spezifisches Feintuning für Aufgaben. Du kannst das Wesentliche erfassen, indem du diesen Abschnitt zuerst überfliegst.
Open Source Health
- Stars
- 1,080
- Forks
- 67
- License
- MIT
- Last commit
- 1 years ago
Alternativen zu Streaming Vlm
Deep-Feature-Flowvon MSRA CVerDeep Feature Flow für die Videoerkennung
MMActionvon Open MmlabEin Open-Source-Toolbox für das Verständnis von Aktionen basierend auf PyTorch
VideoPrismvon Google DeepMindOffizielles Repository für "VideoPrism: Ein grundlegender visueller Encoder für das Videoverständnis" (ICML 2024)
Temporal Segment Networksvon yjxiongCode & Modelle für Temporal Segment Networks (TSN) in ECCV 2016
Cosmos Curatorvon NVIDIACosmos Curator ist ein leistungsstarkes Videosystem zur Kuratierung, das Videoinhalte mit fortschrittlichen KI-Modellen und verteilter Datenverarbeitung verarbeitet, analysiert und organisiert.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Streaming Vlm?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
MIT HAN Lab
Efficient AI Computing. PI: Song Han
