SepLLM

I Grandi Modelli di Linguaggio (LLMs) hanno mostrato prestazioni eccezionali in una varietà di compiti di elaborazione del linguaggio naturale. Tuttavia, le loro dimensioni sostanziali pongono sfide considerevoli, in particolare per quanto riguarda le richieste computazionali e la velocità di inferenza, a causa della loro complessità quadratica. In questo lavoro, abbiamo identificato un modello chiave: alcuni token separatori apparentemente privi di significato (cioè, punteggiature) contribuiscono in modo sproporzionato ai punteggi di attenzione rispetto ai token semanticamente significativi. Questa osservazione suggerisce che le informazioni dei segmenti tra questi token separatori possono essere efficacemente condensate nei token separatori stessi senza una significativa perdita di informazioni. Guidati da questa intuizione, introduciamo SepLLM, un framework plug-and-play che accelera l'inferenza comprimendo questi segmenti ed eliminando token ridondanti. Inoltre, implementiamo kernel efficienti per l'accelerazione dell'addestramento. I risultati sperimentali in impostazioni senza addestramento, addestramento da zero e post-addestramento dimostrano l'efficacia di SepLLM.