Quest
vonMIT HAN Lab
[ICML 2024] Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
ModellbereitstellungMLOps & ExperimentverfolgungOpen Source
Über
Quest ist ein effizientes Langkontext-LLM-Inferenzframework, das abfragebewusste Sparsamkeit im KV-Cache nutzt, um den Speicherbewegungen während der Aufmerksamkeit zu reduzieren und somit den Durchsatz zu steigern.
Open Source Health
- Stars
- 406
- Forks
- 49
- License
- MIT
- Last commit
- 1 years ago
Cuda
Alternativen zu Quest
Once For Allvon MIT HAN Lab[ICLR 2020] Einmal für alle: Trainiere ein Netzwerk und spezialisiere es für eine effiziente Bereitstellung
CHaiDNNvon XilinxHLS-basierte Beschleunigerbibliothek für tiefe neuronale Netzwerke für Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkvon Soul AI LabSoulX-FlashTalk ist das erste 14B-Modell, das eine Startlatenz von unter einer Sekunde (0,87 s) erreicht und gleichzeitig einen Echtzeit-Durchsatz von 32 FPS auf einem 8xH800-Knoten beibehält.
Ts Patternvon Gabriel VergnaudDie umfassende Pattern Matching-Bibliothek für TypeScript mit intelligenter Typinferenz.
Nobodywhovon NobodyWhoNobodyWho ist eine Inferenz-Engine, mit der du LLMs lokal und effizient auf jedem Gerät ausführen kannst.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Quest?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
MIT HAN Lab
Efficient AI Computing. PI: Song Han
