Automated quality enhancer for fast neural networks on mobile devices

Abstract

While neural networks nowadays are widely used in different areas and applications, many usages of such neural networks are hindered by lacking computation power, especially on smaller devices like mobile devices. For this reason, it is very attractive to find ways to enable such devices to use neural networks under their restricted hardware conditions. There are different ways to approach that goal, but I will focus on an approach that enhances a given neural network to perform better on the same device and data without any distribution on other devices or reduction of potential redundancy. To achieve a better performance, I will create a supporting structure consisting of at least one supporting network processing input data instead of the original network. To decide which network processes which input, I will create a deciding neural network which will allocate each input value to exactly one network. This requires more computation in the training process because I will have to search the supporting and the deciding network and train them accordingly, but will reduce the error in the output of the whole network construction compared to the original network.

Während neuronale Netze heutzutage in vielen verschiedenen Bereichen und Anwendungen genutzt werden, ist die Effektivität solcher Netze oft verringert durch fehlende Rechenleistung. Dies gilt insbesondere für kleinere Geräte wie Mobilgeräte. Daher ist das Verbessern der Leistung von neuronalen Netzen unter den beschränkten Hardware-Bedingungen solcher Geräte attraktiv. Um dieses Ziel zu erreichen gibt es verschiedene Wege. Ich beschränke mich in dieser Arbeit darauf, ein neuronales Netzwerk so zu verbessern, dass die Performance auf dem selben Gerät verbessert wird. Dies soll mit den selben Daten wie zuvor und ohne Verteilung auf andere Geräte oder der Reduktion von potentiell redundanten Teilen des Netzwerks geschehen. Um eine verbesserte Leistung zu erzielen werde ich eine unterstützende Struktur erstellen. Diese soll aus mindestens einem "Support-Netzwerk" bestehen, das einen Teil der einkommenden Daten des ursprünglichen Netzwerks verarbeitet. Um zu entscheiden welches Netzwerk welche Daten verarbeitet, werde ich ein "Entscheider-Netzwerk" erstellen, das jeden Daten-Punkt genau einem der anderen Netzwerke zuordnet. Dies benötigt mehr Berechnung im Trainings-Prozess, da die zusätzlichen neuronalen Netze erstellt und entsprechend trainiert werden müssen. Dafür wird der Fehler im berechneten Ergebnis der gesamten Struktur sinken, verglichen mit dem Fehler im Ergebnis des ursprünglichen Netzes.