MInference
vonMicrosoft
MInference accelerates the pre-filling stage of long-context LLM inference with dynamic sparse attention, reaching up to 10x speedup for 1M-token prompts on a single A100. NeurIPS 2024 Spotlight.
LLM-OrchestrierungOpen Source KI & Maschinelles LernenOpen Source
Über
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Langkontext-LLMs zu beschleunigen, berechnen approximative und dynamische spärliche Aufmerksamkeiten, was die Inferenzlatenz um bis zu 10-fach für die Vorbefüllung auf einem A100 reduziert und dabei die Genauigkeit beibehält.
Open Source Health
- Stars
- 1,228
- Forks
- 82
- License
- MIT
- Last commit
- 1 months ago
Python
Alternativen zu MInference
Recognizers-Textvon MicrosoftRecognizers-Text bietet die Erkennung und Auflösung von Entitäten wie Zahlen, Daten und Einheiten in mehreren Sprachen.
Language Server Protocolvon MicrosoftDefiniert ein gemeinsames Protokoll für Sprachserver.- Azure AI Speechvon MicrosoftAzure Speech in Foundry Tools
- Lamar Benchmarkvon MicrosoftQuellcode für das ECCV 2022 Papier "Benchmarking Localization and Mapping for Augmented Reality".
- Pyrightvon MicrosoftStatischer Typprüfer für Python
Ressourcen & Links
Verwandte Kategorien
Nutzt du MInference?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Microsoft
Empower every person and organization to achieve more.
