Bringing Old Photos Back To Life

Wir schlagen vor, alte Fotos, die unter schwerer Degradation leiden, durch einen Deep-Learning-Ansatz wiederherzustellen. Im Gegensatz zu herkömmlichen Restaurierungsaufgaben, die durch überwachtes Lernen gelöst werden können, ist die Degradation in realen Fotos komplex, und der Domänenunterschied zwischen synthetischen Bildern und echten alten Fotos führt dazu, dass das Netzwerk nicht verallgemeinern kann. Daher schlagen wir ein neuartiges Triplet-Domänen-Übersetzungsnetzwerk vor, das reale Fotos zusammen mit massiven synthetischen Bildpaaren nutzt. Konkret trainieren wir zwei variational autoencoders (VAEs), um alte Fotos und saubere Fotos jeweils in zwei latente Räume zu transformieren. Die Übersetzung zwischen diesen beiden latenten Räumen wird mit synthetischen gepaarten Daten erlernt. Diese Übersetzung verallgemeinert gut auf reale Fotos, da der Domänenunterschied im kompakten latenten Raum geschlossen wird. Darüber hinaus haben wir, um mehrere Degradationen, die in einem alten Foto gemischt sind, zu adressieren, einen globalen Zweig mit einem partiellen nichtlokalen Block entworfen, der auf die strukturierten Defekte, wie Kratzer und Staubflecken, abzielt, und einen lokalen Zweig, der auf die unstrukturierten Defekte, wie Rauschen und Unschärfe, abzielt.