SciBERT

Ottenere dati annotati su larga scala per compiti di NLP nel dominio scientifico è una sfida e costoso. Rilasciamo SciBERT, un modello di linguaggio pre-addestrato basato su BERT (Devlin et al., 2018) per affrontare la mancanza di dati scientifici etichettati di alta qualità e su larga scala. SciBERT sfrutta il pre-addestramento non supervisionato su un ampio corpus multidominio di pubblicazioni scientifiche per migliorare le prestazioni nelle attività di NLP scientifico downstream. Valutiamo una serie di compiti, tra cui il tagging delle sequenze, la classificazione delle frasi e l'analisi delle dipendenze, con set di dati provenienti da vari domini scientifici. Dimostriamo miglioramenti statisticamente significativi rispetto a BERT e raggiungiamo nuovi risultati all'avanguardia in diverse di queste attività. Il codice e i modelli pre-addestrati sono disponibili su https://github.com/allenai/scibert/.