Dolma
vonAllenai
Data and tools for generating and inspecting OLMo pre-training data.
LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source
Über
Dolma ist ein offenes Dataset mit 3 Billionen Tokens aus einer vielfältigen Mischung von Webinhalten, akademischen Publikationen, Code, Büchern und Enzyklopädie-Materialien. Es wurde als Trainingskorpus für OLMo, ein Sprachmodell des Allen Institute for AI (AI2), erstellt.
Nutzt du Dolma?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenOpen-source health
- Stars
- 1,543
- Forks
- 202
- License
- Apache-2.0
- Last commit
- 2 months ago
Python
Alternativen zu Dolma
Dont Stop Pretrainingvon AllenaiCode, der mit dem Don't Stop Pretraining ACL 2020-Papier verbunden ist.
The Algorithmvon TwitterQuellcode für den X Recommendation Algorithm.
Recommendersvon TensorFlowTensorFlow Recommenders ist eine Bibliothek zum Erstellen von Empfehlungsmodell-Systemen mit TensorFlow.- RPG_KDD2025von FacebookresearchDieses Repository bietet den Code zur Implementierung von RPG, wie in unserem KDD'25-Paper "Generierung von langen semantischen IDs in Parallel für Empfehlungen" beschrieben.
- Pairecvon AlibabaEin Go-Web-Framework zum schnellen Aufbau von Empfehlungsdiensten basierend auf JSON-Konfiguration.
Verwandte Kategorien
Anbieter
Allenai
Publisher of Dont Stop Pretraining, Objaverse Xl and Procthor
