Tokenizer
vonMicrosoft
Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.
LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source
Über
Dieses Repo enthält die Typescript- und C#-Implementierung des Byte Pair Encoding (BPE) Tokenizers für OpenAI LLMs. Es basiert auf der Open-Source-Rust-Implementierung im OpenAI tiktoken. Beide Implementierungen sind wertvoll, um die Prompt-Tokenisierung in Nodejs- und .NET-Umgebungen durchzuführen, bevor die Eingabe in ein LLM eingespeist wird.
Open Source Health
- Stars
- 212
- Forks
- 37
- License
- MIT
- Last commit
- 1 months ago
C#
Alternativen zu Tokenizer
- Recognizers-Textvon MicrosoftRecognizers-Text bietet die Erkennung und Auflösung von Entitäten wie Zahlen, Daten und Einheiten in mehreren Sprachen.
Language Server Protocolvon MicrosoftDefiniert ein gemeinsames Protokoll für Sprachserver.- Azure AI Speechvon MicrosoftAzure Speech in Foundry Tools
- Lamar Benchmarkvon MicrosoftQuellcode für das ECCV 2022 Papier "Benchmarking Localization and Mapping for Augmented Reality".
- Pyrightvon MicrosoftStatischer Typprüfer für Python
Ressourcen & Links
Verwandte Kategorien
Nutzt du Tokenizer?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Microsoft
Empower every person and organization to achieve more.
