Investigation of the energy consumption of different GPUs with respect to the used software stack

Abstract

Within the last couple of years, Graphical Processing Units (GPUs) have become one of the main drivers of the increase of the compute power of the TOP500 list. Next to High Performance Computing (HPC) use cases GPUs were also the main driver enabling the wide spread use of neural networks for machine learning. However, this increase of compute power comes at the price of an ever-increasing amount of energy consumption, with all the negative effects of associated environment and operational costs. At the moment, there are 2 main vendors for HPC GPUs: Advanced Micro Devices (AMD) and NVIDIA. Both offer different software stack. This paper will discuss the impact of the choice of framework on the power draw and energy usage of the running kernels compared to the “native” software stack (i.e. CUDA and HIP for NVIDIA and AMD respectively). The goal is to gain an understanding whether the choice has a large enough impact on energy consumption to be significant for the choice of framework when aiming for green computing. As matrix multiplication is a common operation for a fast array of work loads including machine learning a simple matrix multiplication kernel is used and rudimentarily optimized for this paper. The comparison explores the impact of single and double precision, explicit synchronisation, and shared memory. The analysis has shown that whilst the choice of framework can have an impact of up to 15 % on the energy consumption, that difference often vanishes when compared to the savings caused by other factors that could easily reach 60 % e.g. for utilizing shared memory.

In den letzten Jahren sind graphische Recheneinheiten (GPU) ein starker Treiber für den Anstieg an Rechenleistung in der TOP500 gewesen. Des Weiteren sind GPUs auch einer der Hauptgründe für die breite Nutzung von neuronalen Netzen im maschinellen Lernen. Leider kommt dieser starke Anstieg in Rechenleistung mit einem erheblichen Anstieg an Energieverbrauch, mit allen seinen negativen Folgen für die Umwelt und die Kosten für den Betrieb. Aktuell gibt es 2 große Anbieter von GPUs: AMD und NVIDIA. Beide bieten die Möglichkeit verschiedene Bibliotheken zu nutzen. Diese Arbeit diskutiert den Einfluss der gewählten Bibliothek auf die Leistungsaufnahme und Stromverbrauch der GPU im Vergleich zu der nativen Bibliotheken für die GPU (CUDA/HIP für NVIDIA/AMD). Das Ziel ist es eine Empfehlung auszuarbeiten, welche Bibliothek sich am meisten anbieten, um einen stromsparenden Informatik Betrieb zu ermöglichen. Da Matrix Multiplikationen ein stets verwendetes Werkzeug sind in einer Vielzahl an Problemstellung wie zum Beispiel maschinelles Lernen, basiert diese Arbeit auf einem rudimentären Matrix-Multiplikation Kernel. Dabei wird der Einfluss von Fließkommapräzision, expliziter Synchronisation und geteiltem Speicher diskutiert. Die Arbeit hat gezeigt, das es zwar definitiv einen Unterschied macht welche Bibliothek verwendet wird, aber die bis zu 15 % Unterschied die dadurch entstehen nicht wirklich relevant sind, wenn andere Faktoren, wie z. B. geteilter Speicher bis zu 60 % Energie sparen.