Minbpe
byKarpathy
Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
Code minimal et propre pour l'algorithme de Byte Pair Encoding (BPE) au niveau des octets, couramment utilisé dans la tokenisation LLM. L'algorithme BPE est dit "au niveau des octets" car il fonctionne sur des chaînes encodées en UTF-8.
Open Source Health
- Stars
- 10,716
- Forks
- 1,097
- License
- MIT
- Last commit
- 2 years ago
Python
Alternatives à Minbpe
The Algorithmby TwitterCode source pour l'algorithme de recommandation X
Recommendersby TensorFlowTensorFlow Recommenders est une bibliothèque pour construire des modèles de systèmes de recommandation avec TensorFlow.- RPG_KDD2025by FacebookresearchCe dépôt fournit le code pour mettre en œuvre RPG décrit dans notre article KDD'25 "Génération d'IDs sémantiques longs en parallèle pour la recommandation".
- Pairecby AlibabaUn cadre web Go pour construire rapidement des services de recommandation en ligne basés sur une configuration JSON.
Textrankby Summa NLPImplémentation de TextRank pour Python 3.
Resources & Links
Related Categories
Tu utilises Minbpe ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Karpathy
Publisher of Nn Zero To Hero, Char Rnn and Llm.C