Olm Datasets

Questo repository ti consente di estrarre un ampio e aggiornato corpus di testo dal web. Utilizza metodi di elaborazione all'avanguardia per produrre un dataset di testo pulito che puoi utilizzare immediatamente per pre-addestrare un grande modello di linguaggio, come BERT, GPT o BLOOM. Il principale caso d'uso di questo repository è il Progetto di Modellazione del Linguaggio Online, dove vogliamo mantenere un modello di linguaggio aggiornato pre-addestrandolo sugli ultimi dump di Common Crawl e Wikipedia ogni mese circa. Puoi vedere i modelli per il progetto OLM qui: https://huggingface.co/olm. In effetti, ottengono prestazioni migliori rispetto ai loro omologhi statici originali.