GLM-OCR

GLM-OCR è un modello OCR multimodale per la comprensione di documenti complessi, costruito sull'architettura encoder-decoder GLM-V. Introduce la perdita di Predizione Multi-Token (MTP) e un apprendimento per rinforzo stabile di compiti completi per migliorare l'efficienza dell'addestramento, la precisione del riconoscimento e la generalizzazione. Il modello integra l'encoder visivo CogViT pre-addestrato su dati immagine-testo su larga scala, un connettore cross-modal leggero con un campionamento discendente dei token efficiente, e un decodificatore di linguaggio GLM-0.5B. Combinato con una pipeline a due fasi di analisi del layout e riconoscimento parallelo basato su PP-DocLayout-V3, GLM-OCR offre prestazioni OCR robuste e di alta qualità su vari layout di documenti.