DoRA

DoRA, o Adaptación de bajo rango descompuesta por peso, está diseñado para ajustar finamente grandes modelos de lenguaje descomponiendo los pesos preentrenados en componentes de magnitud y dirección. Este enfoque emplea LoRA para actualizaciones direccionales eficientes, mejorando la capacidad de aprendizaje y la estabilidad del entrenamiento mientras minimiza los parámetros entrenables. Es particularmente útil para tareas que implican razonamiento de sentido común, ajuste de instrucciones visuales y comprensión de texto de imagen/video.