LongAlign

LongAlign est la première recette complète pour l'alignement des LLM sur de longs contextes. Nous proposons le jeu de données LongAlign-10k, contenant 10 000 données d'instructions longues d'une longueur de 8k à 64k. Nous étudions des stratégies d'entraînement, à savoir le packing (avec pondération des pertes) et le batching trié, qui sont toutes implémentées dans notre code. Pour l'évaluation des longs contextes dans le monde réel, nous introduisons LongBench-Chat, qui évalue la capacité à suivre des instructions sur des requêtes de longueur 10k à 100k.