Disout

Les réseaux neuronaux profonds se composent souvent d'un grand nombre de paramètres entraînables pour extraire des caractéristiques efficaces à partir de jeux de données donnés. D'une part, un grand nombre de paramètres entraînables améliore considérablement les performances de ces réseaux profonds. D'autre part, ils posent le problème du surajustement. À cet égard, les méthodes basées sur le dropout désactivent certains éléments dans les cartes de caractéristiques de sortie pendant la phase d'entraînement pour réduire la co-adaptation des neurones. Bien que la capacité de généralisation des modèles résultants puisse être améliorée par ces approches, le dropout binaire conventionnel n'est pas la solution optimale. Par conséquent, nous étudions la complexité empirique de Rademacher liée aux couches intermédiaires des réseaux neuronaux profonds et proposons une méthode de distorsion des caractéristiques (Disout) pour aborder le problème susmentionné. Pendant la période d'entraînement, des éléments sélectionnés au hasard dans les cartes de caractéristiques seront remplacés par des valeurs spécifiques en exploitant la limite de l'erreur de généralisation. La supériorité de la distorsion de la carte de caractéristiques proposée pour produire des réseaux neuronaux profonds avec de meilleures performances de test est analysée et démontrée sur plusieurs ensembles de données d'images de référence.