Auto Round
byIntel
A SOTA quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的量化工具包
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
AutoRound es un kit de herramientas de cuantización avanzado diseñado para Modelos de Lenguaje Grande (LLMs) y Modelos de Lenguaje Visual (VLMs). Logra alta precisión en anchos de bits ultra-bajos (2–4 bits) con una mínima afinación aprovechando el descenso de gradiente de signo y proporcionando una amplia compatibilidad de hardware. Consulta nuestros documentos SignRoundV1 y SignRoundV2 para más detalles. Para instrucciones de uso, consulta la Guía del Usuario.
Open Source Health
- Stars
- 1,611
- Forks
- 175
- License
- Apache-2.0
- Last commit
- 1 months ago
Python
Alternativas a Auto Round
- Isa Lby IntelBiblioteca de Aceleración de Almacenamiento Inteligente
The Algorithmby TwitterCódigo fuente para el Algoritmo de Recomendación X
Recommendersby TensorFlowTensorFlow Recommenders es una biblioteca para construir modelos de sistemas de recomendación utilizando TensorFlow.- RPG_KDD2025by FacebookresearchEste repositorio proporciona el código para implementar RPG descrito en nuestro artículo de KDD'25 "Generando IDs semánticos largos en paralelo para recomendaciones".
- Pairecby AlibabaUn marco web de Go para construir rápidamente servicios de recomendación en línea basados en configuración JSON.
Resources & Links
Related Categories
¿Usas Auto Round?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Intel
Publisher of Intel OpenVINO