SciBERT

Obtenir des données annotées à grande échelle pour des tâches de NLP dans le domaine scientifique est un défi et coûteux. Nous publions SciBERT, un modèle de langage préentraîné basé sur BERT (Devlin et al., 2018) pour remédier au manque de données scientifiques étiquetées de haute qualité et à grande échelle. SciBERT tire parti du préentraînement non supervisé sur un grand corpus multidomaine de publications scientifiques pour améliorer les performances sur les tâches de NLP scientifique en aval. Nous évaluons un ensemble de tâches, y compris le balisage de séquences, la classification de phrases et l'analyse de dépendances, avec des ensembles de données provenant de divers domaines scientifiques. Nous démontrons des améliorations statistiquement significatives par rapport à BERT et atteignons de nouveaux résultats à la pointe de la technologie sur plusieurs de ces tâches. Le code et les modèles préentraînés sont disponibles sur https://github.com/allenai/scibert/.