LongAlign

LongAlign es la primera receta completa para la alineación de LLM en contextos largos. Proponemos el conjunto de datos LongAlign-10k, que contiene 10,000 datos de instrucciones largas con una longitud de 8k-64k. Investigamos estrategias de entrenamiento, a saber, packing (con ponderación de pérdida) y batching ordenado, que están todas implementadas en nuestro código. Para la evaluación de contextos largos en el mundo real, introducimos LongBench-Chat, que evalúa la capacidad de seguir instrucciones en consultas de longitud 10k-100k.