SmoothQuant

I grandi modelli di linguaggio (LLM) mostrano prestazioni eccellenti, ma sono intensivi in termini di calcolo e memoria. La quantizzazione può ridurre la memoria e accelerare l'inferenza. Tuttavia, per LLM che superano i 100 miliardi di parametri, i metodi esistenti non possono mantenere la precisione o non funzionano in modo efficiente sull'hardware. Proponiamo SmoothQuant, una soluzione di quantizzazione post-addestramento (PTQ) senza necessità di addestramento, che preserva la precisione ed è di uso generale per abilitare la quantizzazione a 8 bit per i pesi e a 8 bit per le attivazioni (W8A8) per gli LLM. Basato sul fatto che i pesi sono facili da quantizzare mentre le attivazioni non lo sono, SmoothQuant smussa gli outlier delle attivazioni migrando offline la difficoltà di quantizzazione dalle attivazioni ai pesi tramite una trasformazione matematicamente equivalente. SmoothQuant consente una quantizzazione INT8 sia dei pesi che delle attivazioni per tutte le moltiplicazioni di matrici negli LLM, inclusi OPT-175B, BLOOM-176B, GLM-130B e MT-NLG 530B. SmoothQuant ha una migliore efficienza hardware rispetto alle tecniche esistenti. Dimostriamo fino a 1,56 volte di accelerazione e una riduzione della memoria di 2 volte per gli LLM con una perdita di precisione trascurabile.