Quest
[ICML 2024] Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
Model DeploymentMLOps & Experiment TrackingOpen Source
About
Quest est un cadre d'inférence LLM efficace en long contexte qui exploite la rareté consciente des requêtes dans le cache KV pour réduire le mouvement de mémoire pendant l'attention et ainsi augmenter le débit.
Open Source Health
- Stars
- 406
- Forks
- 49
- License
- MIT
- Last commit
- 1 years ago
Cuda
Alternatives à Quest
Once For Allby MIT HAN Lab[ICLR 2020] Une fois pour tous : Entraîne un réseau et spécialise-le pour un déploiement efficace
CHaiDNNby XilinxBibliothèque d'accélérateur de réseaux neuronaux profonds basée sur HLS pour Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk est le premier modèle 14B à atteindre une latence de démarrage inférieure à une seconde (0,87 s) tout en maintenant un débit en temps réel de 32 FPS sur un nœud 8xH800.
Ts Patternby Gabriel VergnaudLa bibliothèque exhaustive de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.
Nobodywhoby NobodyWhoNobodyWho est un moteur d'inférence qui te permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
Resources & Links
Related Categories
Tu utilises Quest ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
MIT HAN Lab
Efficient AI Computing. PI: Song Han
