Auto Round
byIntel
A SOTA quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的量化工具包
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
AutoRound è un toolkit di quantizzazione avanzato progettato per modelli di linguaggio di grandi dimensioni (LLMs) e modelli di linguaggio visivo (VLMs). Raggiunge alta precisione a larghezze di bit ultra-basse (2–4 bit) con una minima regolazione sfruttando la discesa del gradiente del segno e fornendo una vasta compatibilità hardware. Consulta i nostri documenti SignRoundV1 e SignRoundV2 per ulteriori dettagli. Per le istruzioni d'uso, fai riferimento alla Guida dell'utente.
Open Source Health
- Stars
- 1,611
- Forks
- 175
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternative a Auto Round
- Isa Lby IntelLibreria di Accelerazione dello Storage Intelligente
The Algorithmby TwitterCodice sorgente per l'Algoritmo di Raccomandazione X
Recommendersby TensorFlowTensorFlow Recommenders è una libreria per costruire modelli di sistemi di raccomandazione utilizzando TensorFlow.- RPG_KDD2025by FacebookresearchQuesto repository fornisce il codice per implementare RPG descritto nel nostro articolo KDD'25 "Generazione di ID semantici lunghi in parallelo per raccomandazioni".
- Pairecby AlibabaUn framework web Go per costruire rapidamente servizi di raccomandazione online basati su configurazione JSON.
Resources & Links
Related Categories
Usi Auto Round?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Intel
Publisher of Intel OpenVINO