DoRA

DoRA, o Adattamento a basso rango decomposto per peso, è progettato per il fine-tuning di grandi modelli di linguaggio decomponendo i pesi pre-addestrati in componenti di magnitudine e direzione. Questo approccio impiega LoRA per aggiornamenti direzionali efficienti, migliorando la capacità di apprendimento e la stabilità dell'addestramento, riducendo al contempo i parametri addestrabili. È particolarmente utile per compiti che coinvolgono ragionamento di buon senso, regolazione delle istruzioni visive e comprensione del testo immagine/video.