CO2 aware job scheduling for data centers

Abstract

Data centers consume large amounts of power around the world. It is estimated that over 1% of global energy consumption is used for powering data centers. Therefore data centers have some potential to reduce global CO2 output. This thesis therefore introduces a novel practical scheduler implementation for saving CO2 emissions on a cluster by shifting load in time. Therefore a custom CO2 power grid efficiency scheduler is developed. The implementation is written for kubernetes, as it is widely used open source cloud orchestration tool. Different architectural solutions to implement a scheduler inside kubernetes are discussed, to find a good approach for realization for this specific cause. The scheduler predicts future CO2 emissions by using historical data and shifts job in time to CO2 efficient power grid times. For comparison the implemented scheduler is tested against the default kubernetes scheduling implementation with multiple different scenarios that were built by using real world workload log data. The implementation presented achieved an average CO2 emission reduction between 0.5% and 2.0%. The scheduler CO2 reduction is similar to Googles Borg scheduler implementation.

Rechenzentren verbrauchen weltweit große Mengen an Energie. Schätzungen zufolge wird etwa 1% des weltweiten Energieverbrauchs für die Stromversorgung von Rechenzentren verwendet. Daher haben Rechenzentren ein gewisses Potenzial, den globalen CO2-Ausstoß zu reduzieren. In dieser Arbeit wird daher eine neue Scheduler Implementierung für die Einsparung von CO2-Emissionen in einem Cluster durch zeitliche Lastverschiebung vorgestellt. Konkret wird ein benutzerdefinierter CO2-Effizienz-Scheduler für das Stromnetz entwickelt. Der Scheduler wurde für Kubernetes geschrieben, da es ein weit verbreitetes Open-Source-Cloud-Orchestrierungswerkzeug ist. Es werden verschiedene architektonische Lösungen für die Implementierung eines Schedulers in Kubernetes diskutiert, um einen optimierten Ansatz für die Realisierung für das gegebene Einsatzszenario zu finden. Der Scheduler sagt anhand historischer Daten die zukünftigen CO2-Emissionen voraus und verschiebt den Job rechtzeitig zu CO2-effizienten Stromnetzzeiten. Im Vergleich wurde der implementierte Scheduler gegen die Standard-Kubernetes-Scheduling-Implementierung mit mehreren verschiedenen Szenarien getestet, die anhand von realen Workload-Protokolldaten erstellt wurden. Die vorgestellte Implementierung erzielte eine durchschnittliche Emissionsreduzierung zwischen 0,5 % und 2,0 %. Die Reduktion von CO2 ist vergleichbar mit der Implementierung des Borg Schedulers von Google.