SmoothQuant

Große Sprachmodelle (LLMs) zeigen eine ausgezeichnete Leistung, sind jedoch rechen- und speicherintensiv. Quantisierung kann den Speicher reduzieren und die Inferenz beschleunigen. Für LLMs mit mehr als 100 Milliarden Parametern können bestehende Methoden jedoch die Genauigkeit nicht aufrechterhalten oder laufen nicht effizient auf der Hardware. Wir schlagen SmoothQuant vor, eine trainingsfreie, genauigkeitsbewahrende und allgemeine Post-Training-Quantisierungslösung (PTQ), um eine 8-Bit-Gewicht- und 8-Bit-Aktivierungsquantisierung (W8A8) für LLMs zu ermöglichen. Basierend auf der Tatsache, dass Gewichte leicht zu quantisieren sind, während Aktivierungen dies nicht sind, glättet SmoothQuant die Aktivierungs-Ausreißer, indem es die Quantisierungsproblematik von Aktivierungen auf Gewichte offline überträgt, mit einer mathematisch äquivalenten Transformation. SmoothQuant ermöglicht eine INT8-Quantisierung sowohl von Gewichten als auch von Aktivierungen für alle Matrixmultiplikationen in LLMs, einschließlich OPT-175B, BLOOM-176B, GLM-130B und MT-NLG 530B. SmoothQuant hat eine bessere Hardwareeffizienz als bestehende Techniken. Wir demonstrieren eine Beschleunigung von bis zu 1,56x und eine Reduzierung des Speichers um 2x für LLMs mit vernachlässigbarem Verlust an Genauigkeit.