SepLLM

Los Modelos de Lenguaje Grande (LLMs) han demostrado un rendimiento excepcional en una variedad de tareas de procesamiento del lenguaje natural. Sin embargo, sus tamaños sustanciales presentan desafíos considerables, especialmente en las demandas computacionales y la velocidad de inferencia, debido a su complejidad cuadrática. En este trabajo, hemos identificado un patrón clave: ciertos tokens separadores que parecen carecer de significado (es decir, puntuaciones) contribuyen desproporcionadamente a las puntuaciones de atención en comparación con los tokens semánticamente significativos. Esta observación sugiere que la información de los segmentos entre estos tokens separadores puede ser efectivamente condensada en los propios tokens separadores sin pérdida significativa de información. Guiados por esta percepción, introducimos SepLLM, un marco plug-and-play que acelera la inferencia al comprimir estos segmentos y eliminar tokens redundantes. Además, implementamos núcleos eficientes para la aceleración del entrenamiento. Los resultados experimentales en configuraciones sin entrenamiento, entrenamiento desde cero y post-entrenamiento demuestran la efectividad de SepLLM.