nanoVLM

nanoVLM est le dépôt le plus simple pour entraîner/affiner un modèle Vision-Language de petite taille avec une implémentation légère en PyTorch pur. Le code lui-même est très lisible et accessible, le modèle se compose d'un Vision Backbone (models/vision_transformer.py ~150 lignes), d'un Language Decoder (models/language_model.py ~250 lignes), d'une Modality Projection (models/modality_projection.py ~50 lignes) et du VLM lui-même (models/vision_language_model.py ~100 lignes) ainsi qu'une boucle d'entraînement simple (train.py ~200 lignes).