Evaluation of explainability in autoscaling frameworks

Abstract

With the introduction of container- and microservice-based software architecture, operators face increasing workloads for monitoring and administrating these systems. Operators now need more and more software support to keep up with the complexity of these software architectures. This increased reliance on support software results in explainability becoming increasingly important. This effect is amplified as machine-learning-based autoscaling for container-based systems is steadily growing. Explainability of these new machine-learning approaches is vital for expert users to verify, correct and reason about these approaches. Many scaling approaches based on machine-learning do not offer suitable methods for explainability. Therefore, expert users have difficulties identifying the reasons behind problems, such as suboptimal resource utilization, in these scaling approaches. Unfortunately, this also prevents them from effectively improving resource utilization. This thesis aims to improve the tools developers and operators have to build and evaluate autoscaling frameworks with explainability. Our first objective is to build a base autoscaling framework for Kubernetes that can be easily enhanced with machine-learning and explainability approaches. Our second objective is to elicit requirements that capture the explainability needs of operators in an autoscaling environment. Our third objective is to build an evaluation scheme that helps operators evaluate autoscaling frameworks regarding their explainability capabilities. We re-implement the autoscaler “Custom Autoscaler” (CAUS) developed by Klinaku et al. in 2018. We also conduct an expert user survey with industry experts and researchers to gather the data needed for eliciting the requirements. Additionally, we use these requirements to build the evaluation scheme for autoscaling frameworks with explainability. Ultimately, we show our research’s benefits and limitations and how it can be expanded.

Mit der Einführung von Container- und Microservice-basierten Software-Architekturen steigt die Arbeitsbelastung von Betreibern bei der Überwachung und Verwaltung dieser Systeme. Um mit der Komplexität dieser Software-Architekturen Schritt halten zu können, benötigen die Betreiber nun immer mehr Software-Unterstützung. Diese zunehmende Abhängigkeit von Unterstützungssoftware führt dazu, dass Erklärbarkeit zunehmend an Bedeutung gewinnt. Dieser Effekt wird noch dadurch verstärkt, dass die auf maschinellem Lernen basierende automatische Skalierung für container-basierte Systeme ein stetig wachsender Bereich ist. Die Erklärbarkeit dieser neuen Ansätze des maschinellen Lernens ist von entscheidender Bedeutung für erfahrene Benutzer, um diese Ansätze zu überprüfen, zu korrigieren und zu begründen. Viele Skalierungsansätze, die auf maschinellem Lernen basieren, bieten von sich aus keine geeigneten Methoden zur Erklärbarkeit. Daher fällt es Experten schwer,die Gründe hinter Proble-men, wie etwa einer suboptimale Ressourcennutzung, in diesen Skalierungsansätzen zu erkennen. Dies hindert sie leider auch daran, die Ressourcennutzung effektiv zu verbessern. Diese Arbeit zielt darauf ab, die Werkzeuge zu verbessern, die Entwicklern und Betreibern zur Verfügung stehen, um automatisierte Skalierungsframeworks zu erstellen und zu bewerten. Unser erstes Ziel ist es, ein Basis-Framework für die automatische Skalierung für Kubernetes zu entwickeln, das leicht mit Ansätzen des maschinellen Lernens und der Erklärbarkeit erweitert werden kann. Unser zweites Ziel ist es, Anforderungen zu ermitteln, die den Erklärungsbedarf von Betreibern in einer Umgebung mit automatischer Skalierung erfassen. Unser drittes Ziel ist es, ein Bewertungsschema zu entwickeln, das Betreibern hilft, automatisierte Skalierungsframeworks hinsichtlich ihrer Erklärungsfähigkeit zu bewerten. Wir reimplementieren den Autoscaler “Custom Autoscaler” (CAUS), der von Klinaku et al. 2018 entwickelt wurde. Außerdem führen wir eine Nutzerumfrage mit Branchenexperten und Forschern durch, um die für die Erhebung der Anforderungen erforderlichen Daten zu sammeln. Darüber hinaus verwenden wir diese Anforderungen, um das Bewertungsschema für automatisch skalierende Frameworks mit Erklärbarkeit zu erstellen. Schließlich zeigen wir die Vorteile und Grenzen unserer Forschung und wie sie erweitert werden kann.