Olm Datasets

Este repositorio te permite extraer un gran y actualizado corpus de texto de la web. Utiliza métodos de procesamiento de vanguardia para producir un conjunto de datos de texto limpio que puedes usar inmediatamente para preentrenar un gran modelo de lenguaje, como BERT, GPT o BLOOM. El caso de uso principal de este repositorio es el Proyecto de Modelado de Lenguaje en Línea, donde queremos mantener un modelo de lenguaje actualizado al preentrenarlo con los últimos volúmenes de Common Crawl y Wikipedia cada mes aproximadamente. Puedes ver los modelos para el proyecto OLM aquí: https://huggingface.co/olm. De hecho, obtienen un mejor rendimiento que sus contrapartes estáticas originales.