Towards empirical evidence for the impact of microservice API patterns on software quality : a controlled experiment

Abstract

Das Aufspalten von Softwaresystemen in kleine, unabhängige Module, sogenannte ’Microservices’, ist aktuell sehr beliebt in der Softwareentwicklung. ’Design Patterns’ dt. Entwurfsmuster sind Vorlagen, welche von Fachleuten eingesetzt werden können, um häufg auftretende Probleme einfacher und struktureller zu lösen. Aktuell existiert nur eine kleine Menge an empirischen Belegen dafür, dass die Softwarequalität durch den Einsatz von ’Microservice API Patterns (MAP)’ verbessert wird. Deshalb ist das Ziel dieser Forschungsarbeit, den Einfluss von 6 ausgewählten Microservice API Patterns auf die Softwarequalität zu bestimmen. Diese Untersuchung wurde mit Hilfe eines kontrollierten Experiments mit 65 Teilnehmenden durchgeführt. Für jedes der sechs Patterns wurden jeweils zwei verschiedene Aufgaben erstellt. Jede Aufgabe besitzt eine Pattern-Version P, in der ein Pattern aktiv eingesetzt wird, sowie eine Non-Pattern Version N, wo ein ähnliches Szenario ohne den Einsatz eines Patterns vorgestellt wird. Für die Online-Umfrage wurden die Teilnehmenden zufällig einer von zwei Gruppen zugewiesen. Je nach Gruppe wurden den Teilnehmenden verschiedene Aufgabenversionen gezeigt. Das Experiment hat ein Crossover-Design mit festgelegter Aufgabenreihenfolge. Die Teilnehmenden sollten zwölf Verständnisfragen beantworten. Die Korrektheit und die benötigte Zeit zum Antworten wurden aufgezeichnet und zu einer Variable namens TAU zusammengefasst. Das Ergebnis zeigt, dass beim Einsatz von fünf der sechs Microservice Patterns, die festgestellte Softwarequalität signifikant gesteigert wurde. Nur das Request Bundle Pattern konnte keine signifikante Verbesserung der Softwarequalität erzielen. Die Effektgröße für die signifikanten Resultate war jeweils von kleinem oder mittlerem Ausmaß. Obwohl die Ergebnisse dieser Forschung empirische Belege für die Verbesserung von bestimmten Softwareattributen liefern, ist weitere Forschung unabdingbar, um eine Verallgemeinerung der Resultate auf eine größere Menge von Software Patterns zu ermöglichen. Außerdem könnte zusätzliche Forschung mit Aufgaben, in denen mehrere Patterns kombiniert eingesetzt werden, weitere wertvolle Ergebnisse für praxis-orientierte Szenarios liefern.

Encapsulating parts of a software system into separate, small, independent modules, called microservices, is currently very popular in software development. Design patterns are templates that can help professionals to solve commonly occurring problems. Currently, there exists only a sparse amount of empirical evidence that supports the positive impact on the quality of a software, by incorporating the quite newly defined Microservice API patterns. Therefore, the purpose of this research is to examine the impact of 6 chosen Microservice API patterns on software quality, with a conducted controlled experiment with 65 participants. For each of the six design patterns, two tasks were created. Each task has a Pattern version P, where the scenario actively uses one of the six design patterns, and a Non-Pattern version N, where an almost identical scenario was constructed without the use of the respective pattern. For the web-based online survey, the participants were randomly put into one of two groups. Depending on the group, different task versions were shown to the participants. A crossover design with a fxed task order was used. The participants were asked to answer 12 comprehension questions. The correctness and the needed time for responding were tracked and aggregated for the analysis into one variable: Timed Actual Understandability (TAU). The results show that for five out of six Microservice patterns, the software quality was indeed increased significantly. Only the Request Bundle pattern did not increase the software quality significantly. The effect size for all significant findings was of either medium or small size. The results of this research provide empirical evidence for the improvement of two software quality attributes. Further research is needed if a generalization to a broader set of design patterns or to additional quality attributes is desired. Additionally, future research could focus on tasks in which several design patterns are combined, to get results for scenarios that are closer to environments in practice.