Optimization and visualization of neural networks for mobile devices

Abstract

This work has two goals, foremost the design and implementation of methods to compress a Neural Network. Two experimental compression methods were designed and implemented for this purpose, the first method named Least Significant Path Pruner, calculates the shortest paths from each output node of the Neural Network to any input node. And the pruning of edges common in these paths, by setting the weight to zero until a target sparsity for the neural network is reached. The second method is named Least Significant Node Merger, which merges multiple nodes from a layer into one, until the targeted size is reached. Removing edges and nodes of the network in the process. The second goal of the work is to implement a tool, which can visualize Neural Networks as graphs and features the ability to compare two different Networks against each other. The tool should also be able to display the differences emerging through the compression of the Neural Network. The result is the application “ShowDiff”, which combines these two goals into an application, making it possible to compress a model and then compare with the Network it originated from.

Die vorliegende Bachelorarbeit verfolgt zwei Ziele. Das erste Ziel ist, das Konzeptionieren und die Implementierung von Methoden zur Komprimierung von neuronalen Netzen. Hierfür wurden zwei neue Methoden entwickelt, die erste Methode mit dem Namen Least Significant Path Pruner, welcher für jeden Ausgangspunkt des Netzes den kürzesten Pfad zu einem der Anfangspunkt berechnet. Und die Kantengewichte, welche oft in den Pfaden vorkommen gleich null setzt, bis ein vorgenommener Prozentsatz der Kanten null als Gewicht haben. Die zweite Methode ist der Least Significant Node Merger, dieser Algorithmus verschmilzt mehrere Knoten eines neuronalen Netzwerk Schichtes zusammen um die Anzahl der Kanten im Netz zu verkleinern. Zu diesen experimentellen Methoden wurden auch weitere geläufige Komprimierungsmethoden implementiert. Das zweite Ziel der Arbeit ist die Implementierung eines visualisierungs Tools, welches neuronale Netze darstellt und die Möglichkeit bietet, zwei neuronale Netze miteinander zu vergleichen. Das Tool sollte dazu die Funktion bieten, die Auswirkungen einer komprimierungs Operation auf das Netz darzustellen. Das Resultat der Vereinigung dieser zwei Ziele ist das Programm “ShowDiff”, welches die Möglichkeit bietet Komprimierungsmethoden auf ein neuronale Netz anzuwenden und die Resultate dann mit dem originalen Modell zu vergleichen.