SpAtten
[HPCA'21] SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning
Model DeploymentMLOps & Experiment TrackingOpen Source
About
Proponemos atención escasa (SpAtten) con poda de tokens KV, poda local de V, poda de cabezas y cuantización progresiva de KV para mejorar la eficiencia de LLM.
Open Source Health
- Stars
- 140
- Forks
- 11
- License
- MIT
- Last commit
- 2 years ago
Scala
Alternativas a SpAtten
Once For Allby MIT HAN Lab[ICLR 2020] Una vez para todos: Entrena una red y especialízala para un despliegue eficiente
CHaiDNNby XilinxBiblioteca aceleradora de redes neuronales profundas basada en HLS para Xilinx Ultrascale+ MPSoCs- SoulX-FlashTalkby Soul AI LabSoulX-FlashTalk es el primer modelo de 14B que logra una latencia de inicio de menos de un segundo (0.87 s) mientras mantiene un rendimiento en tiempo real de 32 FPS en un nodo 8xH800.
Ts Patternby Gabriel VergnaudLa biblioteca de coincidencias de patrones exhaustiva para TypeScript, con inferencia de tipos inteligente.
Nobodywhoby NobodyWhoNobodyWho es un motor de inferencia que te permite ejecutar LLMs localmente y de manera eficiente en cualquier dispositivo.
Resources & Links
Related Categories
¿Usas SpAtten?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
MIT HAN Lab
Efficient AI Computing. PI: Song Han
