Evaluating of feasibility and aiding explainability of scaling policies using architectural-based simulations

Abstract

Online services have become an indispensable part of our lives. The Internet of Things (connecting electronic devices to the Internet) has added another possible application in recent years. The resulting increase or fluctuation in the number of users means that these services must remain available and accessible. Disruptions and outages have serious consequences. If, for example, the scaling of a service does not function properly, the provider may incur considerable costs. Cloud engineers work with so-called scaling policies to enable elastic systems that automatically scale resources above a certain threshold of a metric. To avoid mistakes, architecture-based simulations like Palladio's can help. Palladio's effectiveness has been demonstrated in various scenarios such as software as a service. However, whether Palladio is also effective in the context of scaling policy has not been sufficiently investigated so far. The goal of this work is to investigate the feasibility of scaling policy simulation using Palladio. Subjects of investigation are the accuracy of the simulations and whether the Palladio model helps with the comprehensibility of scaling policies. To determine the accuracy, measured values are recorded during an experiment and later compared to the Palladio simulation results. A Kubernetes cloud system from the MoSaIC project is used as a reference system. The use case of the project is container ships sending data, with the number of ships increasing due to a new customer. To generate the load, the load testing software Gatling is used. The experiment is divided into two phases, a scaling experiment and an elasticity experiment. The former is used to quickly rank the MoSaIC Kubernetes system, which is a prerequisite for the design of the elasticity experiment. The design provides two load scenarios (low and medium). With these scenarios, two different scaling policy configurations, which differ in terms of the threshold value, are put under load in the experiment. These scenarios, the system, and the scaling policies were modeled with Palladio. During the modeling process, we found that various factors made it difficult to model the experiment scenario and run the simulation. The corresponding deficiencies and knockout criteria and possible workarounds to circumvent the problems were documented. The scaling policies could not be simulated to the full extent. Therefore it was not possible to simulate them. However, we were able to show the potential of Palladio and that the Palladio model we used allows the tracking of how self-adaptations were performed. That theoretically improves the understandability of the scaling policies. Future work can build on our findings and find out via further experimentation whether the documented deficiencies can be fixed or circumvented. In addition, an experiment should be conducted to investigate whether the improved understandability of the scaling policies through Palladio can also be proven.

Onlinedienste sind in unserem Leben nicht mehr wegzudenken. Mit dem sogenannten Internet der Dinge (Vernetzung von elektronischen Geräten mit dem Internet) kam in den letzten Jahren eine weitere Anwendungsmöglichkeit hinzu. Die daraus resultierende steigende beziehungsweise schwankende Anzahl an Nutzern setzt voraus, dass diese Dienste verfügbar und erreichbar bleiben. Störungen und Ausfälle haben gravierende Folgen. Sollte beispielsweise die Skalierung eines Dienstes nicht ordnungsgemäß funktionieren, können erhebliche Kosten auf den Anbieter zukommen. Cloud-Ingenieure arbeiten mit sogenannten Scaling Policies, um elastische Systeme zu ermöglichen, die automatisch ab einem gewissen Schwellwert die Ressourcen skalieren. Um Fehler zu vermeiden, können Architektur-basierte Simulationen wie von Palladio helfen. Palladios Effektivität wurde in verschiedenen Szenarien wie zum Beispiel Software as a Service nachgewiesen. Allerdings wurde bislang nicht ausreichend untersucht, ob Palladio auch im Kontext Scaling Policy effektiv ist. Das Ziel dieser Arbeit ist die Untersuchung der Machbarkeit von Scaling Policy Simulationen mit Palladio. Untersuchungsgegenstände sind die Genauigkeit der Simulationen und ob das Palladio-Modell bei der Verständlichkeit der Scaling Policies hilft. Um die Genauigkeit zu bestimmen, werden Messwerte während eines Experiments aufgezeichnet und später mit den Ergebnissen der Palladio Simulation verglichen. Als Referenzsystem dient ein Kubernetes Cloudsystem des MoSaIC-Projekts. Der Anwendungsfall des Projekts sind Containerschiffe, die Daten senden, wobei die Anzahl der Schiffe durch einen neuen Kunden steigt. Um die Last zu erzeugen wird die Lasttestsoftware Gatling verwendet. Das Experiment ist in zwei Phasen unterteilt, in ein Skalierungs- und ein Elastizitätsexperiment. Ersteres dient zur schnellen Einstufung des MoSaIC-Kubernetessystems, welches eine Vorbedingung für den Entwurf des Elastizitätsexperiments ist. Der Entwurf sieht zwei Last-Szenarien (schwach und mittelstark) vor. Mit diesen Szenarien werden im Experiment zwei verschiedene Scaling Policy- Konfigurationen, welche sich hinsichtlich des Schwellwerts unterscheiden, unter Last gesetzt. Diese Szenarien wurden genauso wie das System und die Scaling Policies mit Palladio modelliert. Während des Modellierungsprozesses haben wir festgestellt, dass diverse Faktoren es erschweren ein Modell für das von uns verwendete Experimentsszenario zu erstellen und die Simulation auszuführen. Die entsprechenden Mängel und K.-o.-Kriterien wurden dokumentiert, genauso wie mögliche Hilfskonstruktionen, um die Probleme zu umgehen. Wobei letztendlich die Scaling Policies nicht vollständig modelliert werden konnten und es daher nicht möglich war diese zu simulieren. Allerdings konnten wir das Potenzial von Palladio aufzeigen zeigen sowie, dass das verwendete Palladio-Model die Nachverfolgung, wie Selbstanpassungen vollzogen wurden, prinzipiell ermöglicht. Womit die Verständlichkeit der Scaling Policies theoretisch verbessert wird. Zukünftige Arbeiten können auf unseren Erkenntnisse aufbauen und über weitere Experimente herausfinden, ob sich die dokumentierten Mängel beheben oder umgehen lassen. Zudem sollte mit einem Experiment untersucht werden, ob sich die verbesserte Verständlichkeit der Scaling Policies durch Palladio auch belegen lässt.