Distributed neural networks for continuous simulations on mobile devices

Abstract

Due to an increasing complexity of numerical simulations, calculating the results usually takes place on a server with access to large computational resources. To allow for a real-time visualization to users in an AR setting, these simulations shall run on the mobile device itself. Therefore, a way to enable the execution on a resource-constrained device is necessary. The goal is to compute the results of the simulation with a surrogate model in the form of a NN. The model has to comply to latency and quality requirements for an accurate visualization of results. This thesis proposes the use of a distributed network architecture. Hence, the interaction of a NN on the local device with a NN on a nearby server was simulated. LSTM layers and their ability in a continuous setting was studied to choose the type of network to replace the simulation. The mobile device was able to request accurate updates from the server during execution. Two operators were derived by analyzing the behavior of received updates in crucial input areas for the mobile device. A decision operator determined the frequency of update requests. The merging operator handled the combination of outputs with respect to a predicted quality and the current delay of received updates. For the latter, the local results are decoupled from the execution and serve as a way to adjust the received update. Different approaches to continue delayed updates with the corresponding local changes to fit the current local step are proposed and evaluated. For this, different artificial connection delay and offloading settings are considered. Using LSTM NNs increased the accuracy and showed a more stable execution compared to NNs without these layers. The proposed methods to merge results decreased the overall MAE from 5% of the local NN down to 2% with the help of updates every 10 steps, if a delay of 10 steps was assumed. This is an improvement of 60% compared to the local execution without updates. The quality-sensitive merging operator was also able to prevent a decrease in quality for bad connection settings by switching to a local-only execution when detecting that the quality of updates decreased. The average time elapsed to produce a single output on the mobile device with the ability to request updates decreased by 63.5% compared to the average inference time of the LSTM NN.

Aufgrund der zunehmenden Komplexität numerischer Simulationen werden die Ergebnisse normalerweise auf einem Server mit großer Rechenleistung berechnet. Um eine Visualisierung der Ergebnisse in Echtzeit für Benutzer einer AR Umgebung zu ermöglichen, sollten die Simulationen direkt auf dem mobilen Gerät ausgeführt werden. Daher wird ein alternativer Weg benötigt, um die Ausführung auf einem Gerät mit eingeschränkter Rechenleistung zu ermöglichen. Ziel dieser Arbeit ist es, die Simulation mit neuronalen Netzwerken zu ersetzen. Das resultierende NN muss Latenz- und Qualitätsanforderungen erfüllen, um die Ergebnisse in der weiteren Verarbeitung präzise visualisieren zu können. Für die Auswertung wird das Prinzip einer verteilten Netzwerkarchitektur verwendet. Dort wurde das Zusammenspiel eines Netzes auf dem lokalen Gerät mit einem Netz auf einem nahe gelegenen Server simuliert. LSTM-Schichten und deren Fähigkeit im Falle kontinuierlicher Daten wurden untersucht, um den Netzwerktyp auszuwählen, welcher die Simulation ersetzen soll. Das mobile Gerät konnte wärend der Ausführung genaue Updates vom Server anfordern. Zwei Operatoren zur Anfrage und interner Weiterverarbeitung von Updates wurden hergeleitet. Dies geschah, indem das Verhalten empfangener Updates in verschiedenen Input-Bereichen analysiert wurde. Dabei wurde auf die vorliegende Veränderung der Qualität der Updates geachtet und Methoden zur Kombination lokaler und empfangener Updates entwickelt. Mit Hilfe dieser Beobachtung wurde der Offloading-Operator bestimmt, welcher die Häufigkeit und Zeitpunkte der Updateanfragen ausgewählt hat. Ein Ansatz zur dynamischen Entscheidung des Offloading-Zeitpunkts wurde behandelt. Beim zweiten Operator handelt es sich um den Merging-Operator. Dieser hat vom Server empfangene Updates für die Kombination mit Hilfe der aktuellen lokalen Werten weitergeführt. Abhängig von Latenz und erwarteter Qualität der Updates wurden gewichte für die Kombination der lokalen und angeforderten Ergebnisse bestimmt. Dadurch wurde eine Methode entwickelt, welche dynamisch die Einberechnung des Updates anpasst. Die Verwendung von LSTM-Netzwerken hat die Genauigkeit im Vergleich zu Netzwerken ohne diese Schichten erhöht und zu einer stabileren Ausführung geführt. Für Updates alle 10 Schritte und einer Verzögerung von 10 Schritten konnten die erarbeiteten Methoden den MAE des lokalen Netzes von 5% auf 2% senken. Dies ist eine Verbesserung um 60% gegenüber der Ausführung des lokalen Netzes. Bei schlechter Verbindung und hoher Latenz konnte der am weitesten entwickelte Merging-Operator einen Qualitätsverlust über viele Schritte hinweg verhindern. Dabei wurde für Schritte, für welche sich die Qualität der weitergeführten Updates verringert, auf eine lokale Ausführung gewechselt. Dadurch konnte in allen Eingabebereichen eine Ausführung mit den bestmöglichen Werten erreicht werden. Obwohl für das Kombinieren beider Ergebnisse weitere Kosten durch das Weiterführen des Updates entstehen, konnte die Methode die Laufzeit pro Schritt um 63.5% verringern.