SciBERT

Obtener datos anotados a gran escala para tareas de NLP en el dominio científico es un desafío y costoso. Lanzamos SciBERT, un modelo de lenguaje preentrenado basado en BERT (Devlin et al., 2018) para abordar la falta de datos científicos etiquetados de alta calidad y a gran escala. SciBERT aprovecha el preentrenamiento no supervisado en un gran corpus multidominio de publicaciones científicas para mejorar el rendimiento en tareas de NLP científico posteriores. Evaluamos un conjunto de tareas que incluyen etiquetado de secuencias, clasificación de oraciones y análisis de dependencias, con conjuntos de datos de varios dominios científicos. Demostramos mejoras estadísticamente significativas sobre BERT y logramos nuevos resultados de vanguardia en varias de estas tareas. El código y los modelos preentrenados están disponibles en https://github.com/allenai/scibert/.