Olm Datasets

Ce dépôt te permet d'extraire un grand corpus de texte à jour depuis le web. Il utilise des méthodes de traitement à la pointe de la technologie pour produire un ensemble de données textuelles propres que tu peux immédiatement utiliser pour préentraîner un grand modèle de langage, comme BERT, GPT ou BLOOM. Le principal cas d'utilisation de ce dépôt est le Projet de Modélisation de Langage en Ligne, où nous souhaitons maintenir un modèle de langage à jour en le préentraînant sur les derniers dumps de Common Crawl et de Wikipedia chaque mois environ. Tu peux voir les modèles pour le projet OLM ici : https://huggingface.co/olm. Ils obtiennent en fait de meilleures performances que leurs homologues statiques d'origine.