Regularizing gradient properties on deep neural networks

Abstract

This bachelor thesis presents a novel approach to training deep neural networks. While back propagating on these deep architectures, it is often found that the gradient vanishes. Further, layers with logistic activation functions will saturate from top to bottom, which is slowing down convergence as the gradient can't propagate well past these saturated layers. Both observations awaken the wish to have the ability to regularize the gradient and directly force its properties. This thesis enables such regularization by modifying the network's cost function. Such changes modify the classic back propagation equations and therefore, the new extended back propagation equations are computed. Finally, two methods of regularization and their combination are presented and tested on a binary and a multi-class (MNIST) classification problem to show the benefits of training with these methods. A result of this thesis is the finding that this setup massively improves training on logistic networks, on the one hand enabling otherwise impossible classification in the multi-class case, while on the other speeding up training on a single class.

Diese Bachelorarbeit präsentiert einen neuen Ansatz zum Trainieren von tiefen neuronalen Netzen. Während des Rückwärtspropagierens in solchen tiefen Architekturen wird häufig beobachtet, dass der Gradient verschwindet. Weiterhin wird beobachtet, dass Schichten mit einer logistischen Aktivierungsfunktion von oben nach unten saturieren, was die Konvergenz verlangsamt, da der Gradient nur schlecht hinter diesen Schichten propagiert. Beide Beobachtungen erzeugen den Wunsch Eigenschaften des Gradienten direkt beeinflussen zu können und seine Eigenschaften direkt festlegen zu können. Diese Arbeit ermöglicht ein solches Vorgehen, indem sie die Kostenfunktion des Netzwerks modifiziert. Hierdurch werden die klassischen "back propagation"-Gleichungen modifiziert, weshalb neue "extended back propagation"-Gleichungen hergeleitet werden. Abschließend werden zwei Methoden und deren Kombination zur Regulierung des Gradienten vorgestellt und an einem zwei-Klassen, sowie einem mehr-Klassen (MNIST) Klassifikationsproblem getestet, um die Vorteile des Trainierens mit dieser Methode herauszustellen. Das Ergebnis ist, dass diese Methode das Trainieren von tiefen neuronalen Netzen mit logistischer Aktivierungsfunktion stark verbessert und einerseits die sonst unmögliche Klassifikation im mehr-Klassen-Fall ermöglicht, während andererseits eine Verbesserung der Konvergenzgeschwindigkeit im ein-Klassen Fall erreicht wird.