Quest
[ICML 2024] Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
Model DeploymentMLOps & Experiment TrackingOpen Source
About
Quest es un marco de inferencia de LLM de largo contexto eficiente que aprovecha la escasez consciente de consultas en la caché KV para reducir el movimiento de memoria durante la atención y así aumentar el rendimiento.
Open Source Health
- Stars
- 406
- Forks
- 49
- License
- MIT
- Last commit
- 1 years ago
Cuda
Alternativas a Quest
Once For Allby MIT HAN Lab[ICLR 2020] Una vez para todos: Entrena una red y especialízala para un despliegue eficiente
CHaiDNNby XilinxBiblioteca aceleradora de redes neuronales profundas basada en HLS para Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk es el primer modelo de 14B que logra una latencia de inicio de menos de un segundo (0.87 s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa biblioteca de coincidencias de patrones exhaustiva para TypeScript, con inferencia de tipos inteligente.
Nobodywhoby NobodyWhoNobodyWho es un motor de inferencia que te permite ejecutar LLMs localmente y de manera eficiente en cualquier dispositivo.
Resources & Links
Related Categories
¿Usas Quest?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
MIT HAN Lab
Efficient AI Computing. PI: Song Han
