SepLLM

Les grands modèles de langage (LLMs) ont montré des performances exceptionnelles dans un large éventail de tâches de traitement du langage naturel. Cependant, leurs tailles considérables posent des défis importants, notamment en termes de demandes computationnelles et de vitesse d'inférence, en raison de leur complexité quadratique. Dans ce travail, nous avons identifié un motif clé : certains tokens séparateurs apparemment dépourvus de sens (c'est-à-dire, des ponctuations) contribuent de manière disproportionnée aux scores d'attention par rapport aux tokens sémantiquement significatifs. Cette observation suggère que l'information des segments entre ces tokens séparateurs peut être efficacement condensée dans les tokens séparateurs eux-mêmes sans perte d'information significative. Guidés par cette idée, nous introduisons SepLLM, un cadre plug-and-play qui accélère l'inférence en compressant ces segments et en éliminant les tokens redondants. De plus, nous mettons en œuvre des noyaux efficaces pour l'accélération de l'entraînement. Les résultats expérimentaux dans des configurations sans entraînement, d'entraînement à partir de zéro et de post-entraînement démontrent l'efficacité de SepLLM.