Online failure prediction for microservice architectures

Abstract

In many modern software architectures, failure avoidance strategies are already an integral part of the system since they provide many ways to contribute to software resilience. Failures are the cause of system downtimes and latencies and often, they can not be completely prevented. In contrast to fully virtualized servers on which applications are run, some microservice architectures allow microservies to operate natively on the underlying OS and they might therefore interact with each other on a much higher level. Microservices that are deployed on the same node may also affect each other much more than VM’s, for example by putting a high workload on the underlying host. Traditional VM’s run their own Operating system, often in an isolated memory region and a predetiermined, mostly static CPU share whereas microservices are able to cooperate by sharing the same IP-address and other resources. The goal of this thesis is to show how and to which degree microservices can affect each other when they are being executed on the same host and to discuss the effects that these side effects have on failure predictors. For this, a number of simulations are run on a selected containerized application that demonstrate the container-induced side effects. Certain metrics like the CPU-usage of the containers will be evaluated for each scenario and online failure prediction methods are implemented that try to forecast failures based on these metrics. The results show, that independent microservices can affect each other in various ways, for example, by over-utilizing the CPU resources of the host on which they are deployed on. This effect makes failure prediction with monolithic approaches that do not consider the architecture of the host very difficult. This thesis shows and discusses various scenarios in which hierarchical failure prediction methods show significantly better results than monolithic aproaches when such a side-effect is introduced into the system.

In vielen Softwaresystemen sind Fehlervermeidungs-Techniken mittlerweile ein wichtiger Teil der Architektur, da sie viele Möglichkeiten zur Ausfallsicherheit bieten. Oft sind Fehler der Grund für Ausfälle und Störungen und oft können diese nicht komplett verhindert werden. Im Vergleich zu Virtualisierten Betriebssystemen auf denen Anwendungen betrieben werden, operieren manche Microservices nativ auf dem zugrunde liegenden Host-System. Daher können diese Systeme sehr viel enger zusammenarbeiten, können sich gleichzeitig aber auch gegenseitig mehr beeinflussen. Microservices die auf dem selben Host ausgeführt werden, können sich beispielsweise durch eine hohe CPU-Auslastung beeinflussen während dies bei voll-virtualisierten Systemen kaum möglich ist, da diese oft einen abgegrenzten Bereich für CPU-Auslastung und Speichernutzung besitzen. Das Ziel dieser Arbeit ist es, aufzuzeigen in welcher Weise und bis zu welchem Level sich Microservices gegenseitig beeinflussen können und verschiedene Möglichkeiten zu diskutieren, die dazu verwendet werden können, diese Effekte zu kompensieren. Hierfür werden einige Simulationen, die verschiedene Szenarien wiederspiegeln, erstellt. Anhand diesen werden einige Seiteneffekte von Microservices aufgezeigt und es werden Methoden entwickelt um diese Seiteneffekte zu erkennen und zu beseitigen. Anschließend werden die Ergebnisse verglichen, quantifiziert und dargestellt. Die Ergebnisse zeigen, dass Monolithische Fehlervorhersagen einigen Fällen wesentlich schlechtere Vorhersagen treffen als Algorithmen, die die Architektur des Systems in die Vorhersage miteinbeziehen sobald ein solcher Seiteneffekt in dem System auftritt.