Minbpe
byKarpathy
Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
Codice minimale e pulito per l'algoritmo Byte Pair Encoding (BPE) a livello di byte, comunemente utilizzato nella tokenizzazione LLM. L'algoritmo BPE è 'a livello di byte' perché opera su stringhe codificate in UTF-8.
Open Source Health
- Stars
- 10,716
- Forks
- 1,097
- License
- MIT
- Last commit
- 2 years ago
Python
Alternative a Minbpe
The Algorithmby TwitterCodice sorgente per l'Algoritmo di Raccomandazione X
Recommendersby TensorFlowTensorFlow Recommenders è una libreria per costruire modelli di sistemi di raccomandazione utilizzando TensorFlow.- RPG_KDD2025by FacebookresearchQuesto repository fornisce il codice per implementare RPG descritto nel nostro articolo KDD'25 "Generazione di ID semantici lunghi in parallelo per raccomandazioni".
- Pairecby AlibabaUn framework web Go per costruire rapidamente servizi di raccomandazione online basati su configurazione JSON.
Textrankby Summa NLPImplementazione di TextRank per Python 3.
Resources & Links
Related Categories
Usi Minbpe?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Karpathy
Publisher of Nn Zero To Hero, Char Rnn and Llm.C