Disout

Las redes neuronales profundas a menudo constan de un gran número de parámetros entrenables para extraer características efectivas de conjuntos de datos dados. Por un lado, los parámetros entrenables masivos mejoran significativamente el rendimiento de estas redes profundas. Por otro lado, traen consigo el problema del sobreajuste. Con este fin, los métodos basados en dropout desactivan algunos elementos en los mapas de características de salida durante la fase de entrenamiento para reducir la co-adaptación de neuronas. Aunque la capacidad de generalización de los modelos resultantes puede mejorarse mediante estos enfoques, el dropout binario convencional no es la solución óptima. Por lo tanto, investigamos la complejidad empírica de Rademacher relacionada con las capas intermedias de las redes neuronales profundas y proponemos un método de distorsión de características (Disout) para abordar el problema mencionado. Durante el período de entrenamiento, se reemplazarán elementos seleccionados al azar en los mapas de características por valores específicos aprovechando el límite del error de generalización. Se analiza y demuestra la superioridad de la distorsión del mapa de características propuesta para producir redes neuronales profundas con un mejor rendimiento en pruebas en varios conjuntos de datos de imágenes de referencia.