LongAlign
[EMNLP 2024] LongAlign: A Recipe for Long Context Alignment of LLMs
Über
LongAlign ist das erste vollständige Rezept für die Ausrichtung von LLMs auf lange Kontexte. Wir schlagen den LongAlign-10k-Datensatz vor, der 10.000 lange Instruktionsdaten mit einer Länge von 8k-64k enthält. Wir untersuchen Trainingsstrategien, nämlich Packing (mit Verlustgewichtung) und sortiertes Batching, die alle in unserem Code implementiert sind. Für die Bewertung von langen Kontexten in der realen Welt führen wir LongBench-Chat ein, das die Fähigkeit zur Befolgung von Anweisungen bei Anfragen mit einer Länge von 10k-100k bewertet.
Open Source Health
- Stars
- 262
- Forks
- 21
- License
- Apache-2.0
- Last commit
- 2 years ago
Alternativen zu LongAlign
The Algorithmvon TwitterQuellcode für den X Recommendation Algorithm.
Recommendersvon TensorFlowTensorFlow Recommenders ist eine Bibliothek zum Erstellen von Empfehlungsmodell-Systemen mit TensorFlow.- RPG_KDD2025von FacebookresearchDieses Repository bietet den Code zur Implementierung von RPG, wie in unserem KDD'25-Paper "Generierung von langen semantischen IDs in Parallel für Empfehlungen" beschrieben.
- Pairecvon AlibabaEin Go-Web-Framework zum schnellen Aufbau von Empfehlungsdiensten basierend auf JSON-Konfiguration.
Textrankvon Summa NLPTextRank-Implementierung für Python 3.
Ressourcen & Links
Verwandte Kategorien
Nutzt du LongAlign?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
THUKEG
Open-source projects on GitHub: Slime, AgentBench and P-tuning-v2
