GLM-OCR

GLM-OCR es un modelo de OCR multimodal para la comprensión de documentos complejos, construido sobre la arquitectura de codificador-decodificador GLM-V. Introduce la pérdida de Predicción de Múltiples Tokens (MTP) y el aprendizaje por refuerzo estable de tareas completas para mejorar la eficiencia de entrenamiento, la precisión de reconocimiento y la generalización. El modelo integra el codificador visual CogViT preentrenado en datos de imagen-texto a gran escala, un conector cross-modal ligero con un eficiente muestreo descendente de tokens, y un decodificador de lenguaje GLM-0.5B. Combinado con una pipeline de dos etapas de análisis de diseño y reconocimiento paralelo basado en PP-DocLayout-V3, GLM-OCR ofrece un rendimiento robusto y de alta calidad en OCR a través de diversos diseños de documentos.