Simulating scenario-based chaos experiments for microservice architectures

Abstract

Context. With the growing popularity of microservice-based architectures, the need for effective resilience testing of such architectures occurred. In a preceding case study, we showed that transforming resilience scenarios to formalized scenario-based chaos tests, and executing those is a feasible way to do so. Problem. While producing very representative results, chaos testing can require a not insignificant expenditure of time and stresses the system under test. Simulating such experiments reduces these problems. Unfortunately, there are currently no simulators available that fulfill the requirements for simulating such scenarios to an acceptable level. Objective. Therefore, this thesis examines which simulators are suitable for which types of scenarios. Furthermore, the most promising of these simulators is extended to support a common scenario description and other features. Method. To properly elicit the requirements for such a simulator, stakeholders conduct a requirements analysis. Existing simulators are searched and evaluated based on these requirements. The simulator that looks the most promising is then extended. To verify the accuracy of the simulator, the scenarios from the preceding case study are utilized. They are transposed to models and simulated. The result data of the simulation is compared to the results of the case study. Result. This thesis presents five microservice simulators and which scenarios they currently potentially support best in a structured overview. Further, a re-engineering of the MiSim simulator results in better support of scenario-based chaos experiments and others of the aforementioned requirements. Conclusion. MiSim 3.0 is evaluated as a simulator that is capable of accurately simulating scenario-based chaos tests. Specifically, the newly implemented resilience patterns and chaos injections behave as expected. However, an inaccurate calibration may harm its accuracy. Conclusion. Previously existing microservice simulators could not simulate all types of scenariobased chaos experiments. In the context of this thesis MiSim 3.0 is created and evaluated as a simulator capable of correctly simulating many types of scenario-based chaos tests. In particular, the newly implemented resilience patterns and chaos injections behave as expected. However, inaccurate calibration can significantly affect its accuracy.

Kontext. Mit der wachsenden Popularität von Microservice-basierten Architekturen ist der Bedarf an effektiven Resilienz-Tests für solche Architekturen entstanden. In einer vorangegangenen Fallstudie haben wir gezeigt, dass die Umwandlung von Resilience-Szenarien in formalisierte szenario-basierte Chaostests und deren Ausführung ein praktikabler Weg ist, dies zu tun. Problemstellung. Obwohl Chaostests sehr repräsentative Ergebnisse liefern, erfordern sie einen nicht unerheblichen Zeitaufwand und belastet zudem das zu testende System. Das Simulieren solcher Experimente reduziert diese Probleme. Leider gibt es derzeit keine Simulatoren, die die Anforderungen für die Simulation solcher Szenarien auf einem akzeptablen Niveau erfüllen. Zielsetzung. Daher wird in dieser Arbeit untersucht, welche Simulatoren für welche Arten von Szenarien geeignet sind. Darüber hinaus wird der vielversprechendste dieser Simulatoren erweitert, um eine allgemeine Szenario Beschreibung und andere Resilienz-Features zu unterstützen. Methode. Um die Anforderungen an einen solchen Simulator richtig zu erheben, wird Anforderungsanalyse mithilfe von Experten durchgeführt. Bestehende Simulatoren werden auf Basis dieser Anforderungen gesucht und gewertet. Der Simulator, der am vielversprechendsten erscheint, wird dann erweitert. Zur Überprüfung der Genauigkeit des Simulators, werden die Szenarien aus der vorangegangenen Fallstudie herangezogen. Sie werden in Modelle übertragen und simuliert. Die Ergebnisdaten der Simulation werden mit den Ergebnissen der Fallstudie verglichen. Ergebnis. Diese Arbeit stellt fünf Microservice-Simulatoren und welche Szenarien sie derzeit potenziell am besten unterstützen vor. Weiterhin wird durch ein re-Engineering des MiSim-Simulators eine bessere Unterstützung von szenario-basierten Chaos-Experimenten und anderen der oben genannten Anforderungen erreicht. Fazit. Bisher existierende Microservice-Simulatoren konnten nicht alle Arten von szenariobasierten Chaostests simulieren. Im Rahmen dieser Arbeit wird mit MiSim 3.0 ein Simulator erstellt und evaluiert, der in der Lage ist, viele Arten von szenariobasierte Chaostests korrekt zu simulieren. Insbesondere die neu implementierten Resilienz-Muster und Chaos-Injektionen verhalten sich wie erwartet. Allerdings kann eine ungenaue Kalibrierung seine Genauigkeit erheblich beeinträchtigen.