Quest
[ICML 2024] Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
Model DeploymentMLOps & Experiment TrackingOpen Source
About
Quest è un framework di inferenza LLM efficiente a lungo contesto che sfrutta la scarsità consapevole delle query nella cache KV per ridurre il movimento della memoria durante l'attenzione e quindi aumentare il throughput.
Open Source Health
- Stars
- 406
- Forks
- 49
- License
- MIT
- Last commit
- 1 years ago
Cuda
Alternative a Quest
Once For Allby MIT HAN Lab[ICLR 2020] Una volta per tutti: Allena una rete e specializzala per un deployment efficiente
CHaiDNNby XilinxLibreria acceleratrice di reti neurali profonde basata su HLS per Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk è il primo modello da 14B a raggiungere una latenza di avvio sotto un secondo (0,87 s) mantenendo un throughput in tempo reale di 32 FPS su un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa libreria di Pattern Matching esaustiva per TypeScript, con inferenza di tipo intelligente.
Nobodywhoby NobodyWhoNobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente e in modo efficiente su qualsiasi dispositivo.
Resources & Links
Related Categories
Usi Quest?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
MIT HAN Lab
Efficient AI Computing. PI: Song Han
