DoRA

DoRA, oder Gewicht-dekomponierte Low-Rank-Anpassung, ist dafür konzipiert, große Sprachmodelle durch die Dekomposition vortrainierter Gewichte in Magnitude- und Richtungsbestandteile feinzujustieren. Dieser Ansatz verwendet LoRA für effiziente richtungsbezogene Updates, was die Lernkapazität und die Trainingsstabilität verbessert und gleichzeitig die trainierbaren Parameter minimiert. Es ist besonders nützlich für Aufgaben, die gesundes Menschenverstand-Raisonnement, visuelle Anweisungsanpassung und das Verständnis von Bild-/Video-Text betreffen.