SciBERT

Die Beschaffung von großflächig annotierten Daten für NLP-Aufgaben im wissenschaftlichen Bereich ist herausfordernd und kostspielig. Wir veröffentlichen SciBERT, ein vortrainiertes Sprachmodell, das auf BERT (Devlin et al., 2018) basiert, um den Mangel an hochwertigen, großflächig gekennzeichneten wissenschaftlichen Daten anzugehen. SciBERT nutzt unüberwachtes Pretraining auf einem großen, multidomainen Korpus wissenschaftlicher Publikationen, um die Leistung bei nachgelagerten wissenschaftlichen NLP-Aufgaben zu verbessern. Wir evaluieren eine Reihe von Aufgaben, einschließlich Sequenz-Tagging, Satzklassifikation und Abhängigkeitsanalyse, mit Datensätzen aus verschiedenen wissenschaftlichen Bereichen. Wir zeigen statistisch signifikante Verbesserungen gegenüber BERT und erreichen neue Ergebnisse auf mehreren dieser Aufgaben. Der Code und die vortrainierten Modelle sind unter https://github.com/allenai/scibert/ verfügbar.