Disout

Le reti neurali profonde consistono spesso in un gran numero di parametri addestrabili per estrarre caratteristiche efficaci da set di dati forniti. Da un lato, un gran numero di parametri addestrabili migliora significativamente le prestazioni di queste reti profonde. D'altro canto, portano con sé il problema dell'overfitting. A tal fine, i metodi basati sul dropout disabilitano alcuni elementi nelle mappe delle caratteristiche di output durante la fase di addestramento per ridurre la co-adattamento dei neuroni. Sebbene la capacità di generalizzazione dei modelli risultanti possa essere migliorata da questi approcci, il dropout binario convenzionale non è la soluzione ottimale. Pertanto, indaghiamo la complessità empirica di Rademacher relativa agli strati intermedi delle reti neurali profonde e proponiamo un metodo di distorsione delle caratteristiche (Disout) per affrontare il problema sopra menzionato. Durante il periodo di addestramento, elementi selezionati casualmente nelle mappe delle caratteristiche saranno sostituiti con valori specifici sfruttando il limite dell'errore di generalizzazione. La superiorità della distorsione della mappa delle caratteristiche proposta per produrre reti neurali profonde con prestazioni di test superiori è analizzata e dimostrata su diversi set di dati di immagini di riferimento.