GLM-OCR

GLM-OCR est un modèle OCR multimodal pour la compréhension de documents complexes, construit sur l'architecture encodeur-décodeur GLM-V. Il introduit la perte de Prédiction Multi-Token (MTP) et un apprentissage par renforcement stable de tâche complète pour améliorer l'efficacité de l'entraînement, la précision de reconnaissance et la généralisation. Le modèle intègre l'encodeur visuel CogViT pré-entraîné sur des données image-texte à grande échelle, un connecteur cross-modal léger avec un sous-échantillonnage efficace des tokens, et un décodeur de langage GLM-0.5B. Combiné avec un pipeline en deux étapes d'analyse de mise en page et de reconnaissance parallèle basé sur PP-DocLayout-V3, GLM-OCR offre des performances OCR robustes et de haute qualité à travers divers mises en page de documents.