Olm Datasets

Dieses Repository ermöglicht es dir, ein großes und aktuelles Textkorpus aus dem Internet abzurufen. Es verwendet moderne Verarbeitungstechniken, um ein sauberes Textdataset zu erstellen, das du sofort zum Pretraining eines großen Sprachmodells wie BERT, GPT oder BLOOM verwenden kannst. Der Hauptanwendungsfall für dieses Repository ist das Online Language Modelling Project, bei dem wir ein Sprachmodell aktuell halten wollen, indem wir es etwa jeden Monat mit den neuesten Common Crawl- und Wikipedia-Dumps vortrainieren. Du kannst die Modelle für das OLM-Projekt hier sehen: https://huggingface.co/olm. Sie bieten tatsächlich eine bessere Leistung als ihre ursprünglichen statischen Gegenstücke.