Investigation of the complexity and energy-efficiency using pruning and neural architecture search in DNNs

Abstract

The pursuit of energy-efficient deep neural network (DNN) is becoming increasingly important in the era of AI-driven applications. Computing resources and energy consumption are important factors for the increasing application of neural networks on resource-constrained devices such as smartwatches. This thesis explores methods and techniques for optimizing the energy efficiency of DNNs through pruning and neural architecture search (NAS). While current research claims that these methods lead to improved energy efficiency, there is little empirical evidence to support this claim. This work presents a thorough investigation of pruning algorithms and NAS techniques with the goal of reducing energy consumption without compromising model accuracy. Experimental evaluations on various baseline architectures and datasets, including MNIST, CIFAR-10, DeepSat, and California Housing, inform the challenges in achieving tangible improvements in energy efficiency. Key metrics such as model size, computation time, power consumption, energy consumption, and FLOPs are carefully measured and compared against different methods and datasets. Experiments will be conducted on NVIDIA GeForce RTX 3090 GPUs and other hardware configurations to gain comprehensive insights into energy consumption patterns. The results reveal a lack of significant changes in power consumption, indicating that power consumption is not affected by unstructured pruning methods alone. Furthermore, the results underline the importance of considering different objectives and metrics when optimizing energy efficiency for different tasks and applications of neural networks. To summarize, although the results do not meet the expectations raised by current research in this field, they provide valuable insights and point the way for future research towards sustainable and energy-efficient AI systems. With our main contribution to this work, the NASO framework, we provide software that allows us to extend our research to other hardware and pruning methods. Die Entwicklung energieeffizienter deep neural networks (DNN) wird in der Epoche der KI-Anwendungen immer wichtiger. Rechenressourcen und Energieverbrauch sind wichtige Faktoren für die zunehmende Anwendung von neuronalen Netzen auf ressourcenbeschränkten Geräten wie Smartwatches. Diese Arbeit erforscht Methoden und Techniken zur Optimierung der Energieeffizienz von DNNs durch Pruning und neural architecture search(NAS). Während die aktuelle Forschung davon ausgeht, dass diese Methoden zu einer verbesserten Energieeffizienz führen, gibt es nur wenige empirische Belege für diese Behauptung. Diese Arbeit stellt daher eine gründliche Untersuchung von Pruning-Algorithmen und NAS-Techniken vor, mit dem Ziel, den Energieverbrauch zu reduzieren, ohne die Genauigkeit zu beeinträchtigen. Experimentelle Auswertungen auf verschiedenen Architekturen und Datensätzen, darunter MNIST, CIFAR-10, DeepSat und California Housing, geben Aufschluss über die Herausforderungen, die dabei auftreten. Schlüsselmetriken wie Modellgröße, Berechnungszeit, Leistungsaufnahme, Energieverbrauch und FLOPs werden sorgfältig gemessen und mit verschiedenen Methoden und Datensätzen verglichen. Die Experimente werden auf NVIDIA GeForce RTX 3090 GPUs und anderen Hardwarekonfigurationen durchgeführt, um umfassende Einblicke in Energieverbrauchsmuster zu gewinnen. Die Ergebnisse zeigen, dass es keine signifikanten Veränderungen im Energieverbrauch gibt, was darauf hindeutet, dass diese Metrik nicht allein durch unstrukturierte Pruning-Methoden beeinflusst wird. Außerdem unterstreichen die Ergebnisse, wie wichtig es ist, bei der Optimierung der Energieeffizienz für verschiedene Aufgaben und Anwendungen neuronaler Netze unterschiedliche Ziele und Metriken zu berücksichtigen. Zusammenfassend lässt sich sagen, dass die Ergebnisse zwar nicht die Erwartungen erfüllen, die in der aktuellen Forschung auf diesem Gebiet geweckt wurden, aber dennoch wertvolle Erkenntnisse liefern und den Weg für zukünftige Forschungen zu nachhaltigen und energieeffizienten KI-Systemen weisen. Mit unserem Hauptbeitrag zu dieser Arbeit, dem Framework NASO, stellen wir eine Software zur Verfügung, mit der wir unsere Forschung auf andere Hardware und Pruning-Methoden ausweiten können.