SmoothQuant

Los grandes modelos de lenguaje (LLMs) muestran un rendimiento excelente, pero son intensivos en computación y memoria. La cuantización puede reducir la memoria y acelerar la inferencia. Sin embargo, para LLMs que superan los 100 mil millones de parámetros, los métodos existentes no pueden mantener la precisión o no funcionan de manera eficiente en el hardware. Proponemos SmoothQuant, una solución de cuantización post-entrenamiento (PTQ) que no requiere entrenamiento, preserva la precisión y es de propósito general para habilitar la cuantización de pesos de 8 bits y activaciones de 8 bits (W8A8) para LLMs. Basado en el hecho de que los pesos son fáciles de cuantizar mientras que las activaciones no lo son, SmoothQuant suaviza los valores atípicos de activación al migrar offline la dificultad de cuantización de las activaciones a los pesos mediante una transformación matemáticamente equivalente. SmoothQuant permite una cuantización INT8 tanto de pesos como de activaciones para todas las multiplicaciones de matrices en LLMs, incluidos OPT-175B, BLOOM-176B, GLM-130B y MT-NLG 530B. SmoothQuant tiene una mejor eficiencia de hardware que las técnicas existentes. Demostramos hasta 1.56x de aceleración y una reducción de memoria de 2x para LLMs con una pérdida de precisión negligible.