LongAlign
byTHUKEG
[EMNLP 2024] LongAlign: A Recipe for Long Context Alignment of LLMs
LLM OrchestrationOpen Source AI & Machine LearningOpen Source
About
LongAlign è la prima ricetta completa per l'allineamento degli LLM su contesti lunghi. Proponiamo il dataset LongAlign-10k, contenente 10.000 dati di istruzioni lunghe con una lunghezza di 8k-64k. Investigiamo strategie di addestramento, ovvero packing (con pesatura della perdita) e batching ordinato, che sono tutte implementate nel nostro codice. Per la valutazione di contesti lunghi nel mondo reale, introduciamo LongBench-Chat, che valuta la capacità di seguire istruzioni su query di lunghezza 10k-100k.
Open Source Health
- Stars
- 262
- Forks
- 21
- License
- Apache-2.0
- Last commit
- 2 years ago
Python
Alternative a LongAlign
The Algorithmby TwitterCodice sorgente per l'Algoritmo di Raccomandazione X
Recommendersby TensorFlowTensorFlow Recommenders è una libreria per costruire modelli di sistemi di raccomandazione utilizzando TensorFlow.- RPG_KDD2025by FacebookresearchQuesto repository fornisce il codice per implementare RPG descritto nel nostro articolo KDD'25 "Generazione di ID semantici lunghi in parallelo per raccomandazioni".
- Pairecby AlibabaUn framework web Go per costruire rapidamente servizi di raccomandazione online basati su configurazione JSON.
Textrankby Summa NLPImplementazione di TextRank per Python 3.
Resources & Links
Related Categories
Usi LongAlign?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
THUKEG
Open-source projects on GitHub: Slime, AgentBench and P-tuning-v2
