Continuous performance testing of FaaS and microservices based on TOSCA topology and orchestration specifications

Abstract

With the adoption of cloud computing growing steadily, enterprises are fighting with cloud cost optimization, as their applications are sluggish in regards to the interchangeability of individual components. Additionally, deployment and provisioning of cloud applications requires multiple individual steps, which are often scripted manually. To combat these issues, Topology and Orchestration Specification for Cloud Applications (TOSCA), a language to describe cloud applications in all regards, including management operations, was developed. Rational decomposition and orchestration for serverless computing (RADON), a proposed TOSCA based framework for microservices and Function-as-a-Service (FaaS), aims to support Development and Operations (DevOps) practices. One part of these practices is continuous testing, which prompted the question, how to generate tests from a TOSCA service template and execute them afterwards. To answer this question, the TOSCA meta model was analyzed to find an approach in regards to test generation and execution. We formulated an approach and implemented it in a Continuous Testing Tool (CTT) called RadonCTT. We then evaluated RadonCTT using a demonstration cloud application called Toy-Example. This was done to see whether or not our test generation and execution was functional. Additionally, we evaluated how accurate the test results were. Finally, we evaluated if RadonCTT could be used to cover use cases other than performance testing. Our evaluation shows that our approach can be implemented and that the implementation can be used to generate and execute performance tests, which produce accurate results. Additionally, our results show that RadonCTT supports use cases other than performance testing. We therefore conclude that our approach is a feasible solution to automatic test generation and execution from a TOSCA service template. Our evaluation does not, however, show that our implementation produces accurate results for every cloud application. This is due to a lack of applications available for our evaluation.

Mit dem stetigen Wachstum von Cloud-Computing kämpfen Konzerne mit Kostenoptimierung. Dies liegt daran, dass ihre Anwendungssoftware träge in Bezug auf die Austauschbarkeit ihrer Komponenten ist. Zusätzlich geschehen Verteilung und Bereitstellung der Software oft durch manuell geschriebene Skripte. Um diese Probleme zu lösen, wurde Topology and Orchestration Specification for Cloud Applications (TOSCA) entwickelt. TOSCA ist eine Sprache, mit der man alle Facetten einer Cloud-Software kontrollieren kann, Management-Operationen inbegriffen. Rational decomposition and orchestration for serverless computing (RADON), ein auf TOSCA basierendes Framework für Microservices und Function-as-a-Service (FaaS), möchte Verfahren von Development and Operations (DevOps) unterstützen. Eines dieser Verfahren ist das kontinuierliche Testen. Dadurch stellt sich die Frage, wie man Tests von einem TOSCA Service-Template generieren kann und diese dann anschließend ausführt. Das TOSCA Meta Model wird analysiert, um einen Ansatz zu finden, Testgenerierung und Testausführung zu ermöglichen. Dieser Ansatz wird in einem Werkzeug, genannt RadonCTT, umgesetzt. Die Evaluation von RadonCTT wird mithilfe der Cloud-Software Toy-Example, welche für Demonstrationszwecke gebaut wurde, durchgeführt. Zusätzlich wird die Exaktheit der erzeugten Testergebnisse untersucht. Schlussendlich wird bewertet, ob RadonCTT für andere Testzwecke als Leistungstests genutzt werden kann. Die Evaluation zeigt, dass der gefundene Ansatz implementiert werden kann. Die Implementierung kann genutzt werden, um Tests zu generieren und auszuführen. Die Tests erzeugen akkurate Ergebnisse. Zusätzlich ist gewährleistet, dass RadonCTT andere Testzwecke als Leistungstests unterstützt. Hieraus folgt, dass der gefundene Ansatz eine plausible Lösung zu automatischer Testgenerierung und Testausführung von einem TOSCA Service-Template ist. Es ist jedoch noch offen nachzuweisen, dass die Implementierung akkurate Ergebnisse für alle Anwendungen erzeugt.