Streaming Vlm

StreamingVLM permet une compréhension stable en temps réel de vidéos effectivement infinies en maintenant un cache KV compact (cache clé-valeur) et en alignant l'entraînement avec l'inférence en streaming. Il évite les coûts quadratiques et les pièges de la fenêtre glissante, fonctionne jusqu'à 8 FPS sur un seul H100 et obtient 66,18 % contre GPT-4o mini sur un nouveau benchmark de vidéo longue. Il améliore également le VQA général (Visual Question Answering) sans ajustement fin spécifique à la tâche. Tu peux saisir l'essentiel en parcourant d'abord cette section.