Streaming Vlm

StreamingVLM consente una comprensione stabile in tempo reale di video effettivamente infiniti mantenendo una cache KV compatta (cache chiave-valore) e allineando l'addestramento con l'inferenza in streaming. Evita costi quadratici e insidie della finestra mobile, funziona fino a 8 FPS su un singolo H100 e ottiene il 66,18 % rispetto a GPT-4o mini su un nuovo benchmark di video lunghi. Migliora anche il VQA generale (Visual Question Answering) senza un fine-tuning specifico per il compito. Puoi afferrare l'essenza scorrendo prima questa sezione.