SmoothQuant

Les grands modèles de langage (LLMs) montrent d'excellentes performances mais sont gourmands en calcul et en mémoire. La quantification peut réduire la mémoire et accélérer l'inférence. Cependant, pour les LLMs dépassant 100 milliards de paramètres, les méthodes existantes ne peuvent pas maintenir la précision ou ne fonctionnent pas efficacement sur le matériel. Nous proposons SmoothQuant, une solution de quantification post-formation (PTQ) qui ne nécessite pas d'entraînement, préserve la précision et est polyvalente pour permettre la quantification de poids de 8 bits et d'activations de 8 bits (W8A8) pour les LLMs. Basé sur le fait que les poids sont faciles à quantifier tandis que les activations ne le sont pas, SmoothQuant lisse les valeurs aberrantes d'activation en migrant hors ligne la difficulté de quantification des activations vers les poids par une transformation mathématiquement équivalente. SmoothQuant permet une quantification INT8 tant des poids que des activations pour toutes les multiplications de matrices dans les LLMs, y compris OPT-175B, BLOOM-176B, GLM-130B et MT-NLG 530B. SmoothQuant a une meilleure efficacité matérielle que les techniques existantes. Nous démontrons jusqu'à 1,56x d'accélération et une réduction de mémoire de 2x pour les LLMs avec une perte de précision négligeable.