Tarsier

Dans ce dépôt, nous introduisons Tarsier -- une famille de modèles vidéo-langage à grande échelle, qui est conçue pour générer des descriptions vidéo de haute qualité (voir Figure 1), avec une bonne capacité de compréhension générale des vidéos (résultats SOTA sur 6 benchmarks ouverts). Tarsier adopte une structure de modèle simple (CLIP-ViT + LLM), combinée à une stratégie d'entraînement soigneusement conçue : pré-entraînement multitâche (étape 1) et ajustement d'instructions à plusieurs granularités (étape 2).