Auto Round
byIntel
A SOTA quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的量化工具包
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
AutoRound est un kit d'outils de quantification avancé conçu pour les grands modèles de langage (LLMs) et les modèles de langage visuel (VLMs). Il atteint une haute précision à des largeurs de bits ultra-basses (2–4 bits) avec un réglage minimal en tirant parti de la descente de gradient de signe et en offrant une large compatibilité matérielle. Consulte nos articles SignRoundV1 et SignRoundV2 pour plus de détails. Pour les instructions d'utilisation, consulte le Guide de l'utilisateur.
Open Source Health
- Stars
- 1,611
- Forks
- 175
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternatives à Auto Round
- Isa Lby IntelBibliothèque d'Accélération de Stockage Intelligent
The Algorithmby TwitterCode source pour l'algorithme de recommandation X
Recommendersby TensorFlowTensorFlow Recommenders est une bibliothèque pour construire des modèles de systèmes de recommandation avec TensorFlow.- RPG_KDD2025by FacebookresearchCe dépôt fournit le code pour mettre en œuvre RPG décrit dans notre article KDD'25 "Génération d'IDs sémantiques longs en parallèle pour la recommandation".
- Pairecby AlibabaUn cadre web Go pour construire rapidement des services de recommandation en ligne basés sur une configuration JSON.
Resources & Links
Related Categories
Tu utilises Auto Round ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Intel
Publisher of Intel OpenVINO