Minbpe
byKarpathy
Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
Código minimalista y limpio para el algoritmo de Byte Pair Encoding (BPE) a nivel de bytes, comúnmente utilizado en la tokenización de LLM. El algoritmo BPE es 'a nivel de bytes' porque opera sobre cadenas codificadas en UTF-8.
Open Source Health
- Stars
- 10,716
- Forks
- 1,097
- License
- MIT
- Last commit
- 2 years ago
Python
Alternativas a Minbpe
The Algorithmby TwitterCódigo fuente para el Algoritmo de Recomendación X
Recommendersby TensorFlowTensorFlow Recommenders es una biblioteca para construir modelos de sistemas de recomendación utilizando TensorFlow.- RPG_KDD2025by FacebookresearchEste repositorio proporciona el código para implementar RPG descrito en nuestro artículo de KDD'25 "Generando IDs semánticos largos en paralelo para recomendaciones".
- Pairecby AlibabaUn marco web de Go para construir rápidamente servicios de recomendación en línea basados en configuración JSON.
Textrankby Summa NLPImplementación de TextRank para Python 3.
Resources & Links
Related Categories
¿Usas Minbpe?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Karpathy
Publisher of Nn Zero To Hero, Char Rnn and Llm.C