Interactive elicitation of resilience scenarios in microservice architectures

Abstract

Context. Elicitation of requirements in software systems is a complex task. Hence, it requires knowledgeable software architects and other domain experts. Especially in distributed environments such as microservice-based systems, this is the case. Components of the system are developed in isolation and commonly share no prerequisites. Therefore, a precise specification is necessary to ensure the availability and performance of the individual components. Problem. In practice, requirements elicitation of non-functional attributes is often neglected or does not follow a systematic approach. If the elicitation process is performed at all, stakeholders meet in physical group meetings. Here, the presence of domain experts with profound knowledge of the inspected system is required. Such an approach is very time-consuming and can result in high costs. Furthermore, participants are required to cover all essential use cases in a limited number of meetings. Objective. This work proposes Resirio, a requirements chatbot supporting resilience engineers in the elicitation process of resilience-related attributes. Previous works have introduced interactive solutions for requirements elicitation. However, they lack formalization and precise elicitation methodologies. The proposed approach should make the elicitation process more effective for software architects and more accessible to inexperienced requirements engineers. Method. Resirio ensures that requirements are elicited in a systematic approach and stored in template-based ATAM scenarios. We use a CHAZOP-based hazard analysis technique to inspect metrics in traces from Zipkin and Jaeger. Hazards identified by the analysis help to examine stimuli that may lead to deviations from the optimal behavior of the system. With the stimulus as an input, users create ATAM scenarios in a conversation with Resirio. Response and response measure, which are parameters of the scenario, are formalized based on MTL. Result. In a user study with software architects, engineers, and researchers from industry and academia, we evaluated Resirio's usability, effectiveness, and support. We compared the user's interaction with the prototype and examined elicited scenarios during the study. The developed prototype gives novice requirements engineers a foundation for fast requirements elicitation but requires advanced features for expert users to define more precise scenarios. Conclusion. We showcase an interactive solution that enables quick and easy elicitation of resilience-related requirement attributes. Following the systematic CHAZOP-based approach, hazard are identified in traces from Zipkin and Jaeger. In a conversation with Resirio, stakeholders of a microservice-based software system are assisted in refining ATAM scenarios. Results from the user study show that resilience engineers prefer the fast and direct input of Quick Replies to written text.

Kontext. Das Erheben von Anforderungen in Softwaresystemen ist eine komplexe Aufgabe. Deshalb ist das Wissen von Softwarearchitekten und anderen Fachexperten erforderlich. Speziell in verteilten Systemen wie Microservices ist dies der Fall, da Komponenten losgelöst voneinander entwickelt werden und oftmals keine Voraussetzungen teilen. Aus diesem Grund ist es nötig, eine detaillierte Spezifikation zu erstellen, um die Verfügbarkeit und Performanz der einzelnen Komponenten zu gewährleisten. Problemstellung. In der Praxis werden Anforderungen oftmals vernachlässigt oder folgen keinem methodischen Ansatz. Werden Anforderungen erhoben, dann passiert dies in der Regel in Präsenzmeetings im Beisein von Experten mit tief greifendem Wissen über das untersuchte System. Dieser Prozess erfordert sehr viel Zeit und kann teuer werden. Überdies sind Teilnehmer dazu angehalten, die wichtigsten Anwendungsfälle in einer begrenzten Anzahl an Meetings zu finden. Zielstellung. Diese Arbeit stellt Resirio vor, einen Chatbot, der Analysten während der Anforderungserhebung unterstützt. Andere Arbeiten haben interaktive Lösungen für die Anforderungserhebung vorgestellt, welche allerdings keine präzise oder nur mangelnde Formalisierungen verwenden. Der vorgestellte Ansatz soll die Anforderungserhebung für Softwarearchitekten beschleunigen und zugleich zugänglicher für unerfahrene Analysten machen. Methode. Resirio stellt sicher, dass Anforderungen mit einer systematischen Methode erhoben und in ATAM-Szenarien gespeichert werden. Mit einer auf CHAZOP basierenden Methode werden Metriken aus Traces von Zipkin und Jaeger untersucht. Risiken, die durch die Analyse identifiziert werden, helfen dabei, Stimuli zu erkennen, welche zu einem Abweichen vom Normalzustand einer Software führen können. Mit dem Stimulus als Eingabe können Nutzer ATAM-Szenarien in einer Konversation mit Resirio erstellen. Die Response und das Response Measure, welche Parameter des Szenarios sind, werden basierend auf MTL formalisiert. Resultat. In einer Nutzerstudie mit Softwarearchitekten, Ingenieuren und Forschern aus Industrie und Wissenschaft wurde Resirio auf Benutzbarkeit, Effektivität und Hilfestellungen untersucht. Die erstellten Szenarien und Interaktion zwischen Nutzer und Chatbot wurden miteinander verglichen. Der entwickelte Prototyp kann unerfahrenen Nutzern einen schnellen Einstieg in die Anforderungserhebung ermöglichen, erfahrene Nutzer benötigen allerdings erweiterte Features. Zusammenfassung. Wir präsentieren eine interaktive Lösung zur schnellen und einfachen Anforderungserhebung von Elastizitätsattributen. Risiken werden mithilfe des auf CHAZOP basierenden Ansatzes aus Traces von Zipkin und Jaeger erkannt. In einer Konversation mit Resirio werden Nutzer bei der Verbesserung von ATAM-Szenarien unterstützt. Ergebnisse der durchgeführten Studie zeigen, dass Analysten den schnellen und direkten Weg der sogenannten Quick Replies gegenüber Texteingaben bevorzugen.