Least-squares based layerwise pruning of Deep Neural Networks

Abstract

Tiefe Neuronale Netze (DNNs) sind derzeit die leistungsstärksten Modelle im Bereich des maschinellen Lernens und lösen erfolgreich viele Aufgaben, wie zum Beispiel Bild- und Spracherkennung, semantische Segmentierung oder Datengenerierung. Aufgrund der inhärent hohen Rechenkomplexität von DNNs wurden schon früh Pruningverfahren angewandt um die Rechenkomplexität von DNNs zu reduzieren und um die Inferenz zu beschleunigen. Pruningverfahren entfernen (prunen) Parameter aus einem trainierten DNN, ohne ihre Leistung dadurch signifikant zu beeinträchtigen. Die dadurch erhaltenen Modelle können auch auf schwachen Rechenplattformen mit hoher Geschwindigkeit ausgewertet werden. In den letzten Jahren wurden Pruningverfahren nicht nur nach dem Training, sondern auch als Bestandteil von modernen Trainingsalgorithmen für DNNs eingesetzt. So wenden zum Beispiel viele speichereffiziente Trainingsalgorithmen oder Architektursuchverfahren pruning schon während des Trainings an, um unwichtige Parameter aus dem DNN zu entfernen. Problematisch ist, dass viele moderne Pruningverfahren auf regularisierten, überwachten Trainingverfahren beruhen und daher selbst sehr rechenaufwändig sind. Solche Pruningverfahren können nicht ohne Weiteres in andere Trainingsalgorithmen eingebettet werden. Es besteht daher ein wachsendes Interesse an Pruningmethoden, die sowohl schnell als auch genau sind. In dieser Arbeit untersuchen wir das layerbasierte Least-Squares (LS) Pruning – ein Framework für das strukturierte Pruning von DNNs. Wir zeigen, dass LS-Pruning eine schnelleund dennoch genaue Methode für die DNN-reduktion ist, die für Zero-Shot oder für die unüberwachte Netzwerkreduktion verwendet werden kann. In experimenten vergleichen wir LS-Pruning mit anderen schnellen Reduktionsmethoden, wie zum Beispiel dem magnitudenbasierten Pruning und der LS-Faktorisierung. Darüber hinaus vergleichen wir LS-Pruning mit überwachten Pruningverfahren.