LLMLingua
vonMicrosoft
[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.
LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source
Über
[EMNLP'23, ACL'24] Um die Inferenz von LLMs zu beschleunigen und das Erfassen von Schlüsselinformationen zu verbessern, komprimiere den Prompt und den KV-Cache, was eine Kompression von bis zu 20x bei minimalem Leistungsverlust erreicht.
Open Source Health
- Stars
- 6,651
- Forks
- 424
- License
- MIT
- Last commit
- 1 months ago
Python
Alternativen zu LLMLingua
Recognizers-Textvon MicrosoftRecognizers-Text bietet die Erkennung und Auflösung von Entitäten wie Zahlen, Daten und Einheiten in mehreren Sprachen.
Language Server Protocolvon MicrosoftDefiniert ein gemeinsames Protokoll für Sprachserver.- Azure AI Speechvon MicrosoftAzure Speech in Foundry Tools
- Lamar Benchmarkvon MicrosoftQuellcode für das ECCV 2022 Papier "Benchmarking Localization and Mapping for Augmented Reality".
- Pyrightvon MicrosoftStatischer Typprüfer für Python
Ressourcen & Links
Verwandte Kategorien
Nutzt du LLMLingua?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Microsoft
Empower every person and organization to achieve more.
