Explaining and visualizing autoscaling behavior of microservice systems deployed on Kubernetes

Abstract

Context. Autoscaling is a technique for dynamically adjusting the number of pods in a Kubernetes cluster based on resource utilization or custom metrics. Problem. However, autoscaling decisions are often opaque and hard to understand for developers and operators of self-adaptive microservice applications, thus verifying and debugging their behavior is difficult and time-consuming. Objective. This thesis aims to improve the insight into horizontal pod autoscaling (HPA) decisions by developing a concept that presents data of scaling decisions made by HPA in a visual and interactive way. Method. For this purpose, previous work on this topic was analysed. Questions and requirements for a system to explain this autoscaling behaviour were elicited. Result. The concept was implemented as a web-based dashboard that integrates with Kubernetes clusters to monitor the scaling behaviour of a self-adaptive application and displays various metrics and components related to the scaling behaviour of the monitored system. Conclusion. The dashboard was evaluated with an expert survey. The results show that the dashboard can help users gain more awareness and understanding of autoscaling behaviour. In particular, fewer different tools are needed to gain insight into scaling behaviour.

Autoscaling ist eine Technik zur dynamischen Anpassung der Anzahl von Pods in einem Kubernetes- Cluster, basierend auf der Ressourcenauslastung oder benutzerdefinierten Metriken. Allerdings sind Autoscaling-Entscheidungen für Entwickler und Betreiber von selbst-adaptiven Microservice- Anwendungen oft undurchsichtig und schwer zu verstehen, was die Verifikation und das Debugging ihres Verhaltens schwierig und zeitaufwändig macht. Diese Arbeit zielt darauf ab, den Einblick in die Entscheidungen des Horizontalen Pod Autoscalers (HPA) zu verbessern, indem ein Konzept entwickelt wird, das Daten über HPA-Skalierungsentscheidungen visuell und interaktiv darstellt. Dazu wurden bisherige Arbeiten zu diesem Thema analysiert. Es wurden Fragen und Anforderungen an ein System zur Erklärung dieses Autoskalierungsverhaltens identifiziert. Das Konzept wurde in Form eines webbasierten Dashboards umgesetzt, das in Kubernetes-Cluster integriert ist und verschiedene Metriken und Diagramme zu HPA-Ereignissen anzeigt. Das Dashboard wurde mittels einer Expertenbefragung evaluiert. Die Ergebnisse zeigen, dass das Dashboard den Anwendern helfen kann, einen größeren Einblick und Verständnis für das Verhalten bei automatischer Skalierung zu erlangen. Insbesondere werden weniger verschiedene Tools benötigt, um einen Einblick in das Skalierungsverhalten zu erhalten.