Minbpe
vonKarpathy
Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source
Über
Minimaler, sauberer Code für den (Byte-Level) Byte Pair Encoding (BPE) Algorithmus, der häufig in der Tokenisierung von LLM verwendet wird. Der BPE-Algorithmus ist "Byte-Level", da er auf UTF-8-kodierten Zeichenfolgen arbeitet.
Open Source Health
- Stars
- 10,716
- Forks
- 1,097
- License
- MIT
- Last commit
- 2 years ago
Python
Alternativen zu Minbpe
The Algorithmvon TwitterQuellcode für den X Recommendation Algorithm.
Recommendersvon TensorFlowTensorFlow Recommenders ist eine Bibliothek zum Erstellen von Empfehlungsmodell-Systemen mit TensorFlow.- RPG_KDD2025von FacebookresearchDieses Repository bietet den Code zur Implementierung von RPG, wie in unserem KDD'25-Paper "Generierung von langen semantischen IDs in Parallel für Empfehlungen" beschrieben.
- Pairecvon AlibabaEin Go-Web-Framework zum schnellen Aufbau von Empfehlungsdiensten basierend auf JSON-Konfiguration.
Textrankvon Summa NLPTextRank-Implementierung für Python 3.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Minbpe?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Karpathy
Publisher of Nn Zero To Hero, Char Rnn and Llm.C