Semi-automated qualitative software architecture risk analysis with ATAM using retrieval-augmented generation

Abstract

Context. The Architecture Tradeoff Analysis Method (ATAM) is an established approach for systematically evaluating software architectures, focusing on the identification of trade-offs, risks, and sensitivity points based on quality attribute scenarios. It has become a core method in the domain of qualitative software architecture analysis. Problem. Despite its effectiveness, the traditional ATAM process is highly manual and resourceintensive. It requires considerable effort from stakeholders, domain experts, and architects, which often makes the process time-consuming and inefficient, particularly in early-stage architectural evaluations. Objective. With the emergence of Artificial Intelligence and Large Language Models (LLMs), new opportunities arise for automating knowledge-intensive processes such as ATAM. This thesis proposes a semi-automated qualitative analysis tool based on Retrieval-Augmented Generation (RAG) to assist in identifying architectural trade-offs, sensitivity points, and risks from structured inputs. Method. We began with a literature review of existing approaches for (semi-)automated software architecture evaluation. Subsequently, a prototype combining ATAM and RAG was developed, capable of processing structured inputs and retrieving relevant architectural knowledge from document corpora. Prompt engineering was applied to guide the model’s responses. The prototype was evaluated through comparative experiments (manual vs. automated analysis) and a user study. Result. The tool with its hardware configurations reduced analysis time by approximately 90% compared to the manual approach. Many generated risks, trade-offs, and sensitivity points were deemed relevant by experts. However, the tool struggled with deeply contextual insights, occasionally producing redundant or generic content. The user study revealed strengths in responsiveness and usability but also identified challenges in output content, especially lacking in depth. Conclusion. The RAG-enhanced ATAM prototype demonstrates potential to augment architectural analysis by improving efficiency and partially automating risk identification. Nevertheless, it does not yet replace expert-driven judgment. Limitations include dependency on prompt quality, and occasional lack of depth in the results. Future work should focus on enhancing prompt design, integrating visual model interpretation, and improving guidance and explanation features to make the tool more robust and widely applicable. Kontext. Die Architecture Tradeoff Analysis Method (ATAM) ist ein etabliertes Verfahren zur Bewertung von Softwarearchitekturen. Sie dient insbesondere der Identifikation von Trade-offs, Risiken und Sensitivitätspunkten im Zusammenhang mit Qualitätsanforderungen und bildet somit eine zentrale Grundlage für qualitative Architekturbewertungen. Problem. Trotz ihrerWirksamkeit ist die klassische Durchführung von ATAM stark manuell geprägt und mit erheblichem Zeit- und Ressourcenaufwand verbunden. Der Prozess erfordert umfangreiche Beteiligung von Architekt:innen, Stakeholdern und Domänenexpert:innen, was insbesondere in frühen Entwurfsphasen ineffizient ist. Zielsetzung. Mit dem Aufkommen von Künstlicher Intelligenz und Large Language Models (LLMs) eröffnen sich neue Möglichkeiten zur (Teil-)Automatisierung wissensintensiver Prozesse wie ATAM. In dieser Arbeit wird ein semi-automatisches Werkzeug auf Basis von Retrieval-Augmented Generation (RAG) vorgestellt, das strukturierte Eingaben verarbeitet und relevante Architekturkenntnisse zur Identifikation von Risiken, Trade-offs und Sensitivitätspunkten generiert. Methodik. Aufbauend auf einer Literaturrecherche zu bestehenden Ansätzen zur (teil-)automatisierten Architekturbewertung wurde ein Prototyp entwickelt, der ATAM mit RAG kombiniert. Die Generierung erfolgt auf Basis von gezieltem Prompt-Design und der Einbindung kuratierter Architekturdokumente. Der Prototyp wurde durch einen Vergleich zwischen manueller und automatisierter Analyse sowie durch eine begleitende Nutzerstudie evaluiert. Ergebnisse. Die Analysezeit konnte im Vergleich zum manuellen Vorgehen um etwa 90% reduziert werden. Viele der automatisch erzeugten Risiken, Trade-offs und Sensitivitätspunkte wurden von Expert:innen als relevant eingeschätzt. Gleichzeitig zeigte sich, dass dasWerkzeug Schwierigkeiten hatte, tief kontextbezogene Aspekte zu erkennen, und teilweise redundante oder generische Inhalte erzeugte. Die Nutzerstudie unterstrich die Vorteile in Reaktionsgeschwindigkeit und Bedienbarkeit, verwies aber auch auf Herausforderungen bei der Eingabeformatierung und Ergebnisinterpretation. Fazit. Der RAG-unterstützte ATAM-Prototyp zeigt Potenzial zur Effizienzsteigerung in der Architekturanalyse und zur (Teil-)Automatisierung der Risikobewertung. Eine vollständige Ablösung menschlicher Expertise ist jedoch nicht möglich. Einschränkungen bestehen in der Abhängigkeit von Prompt-Qualität, der fehlenden Fähigkeit zur Verarbeitung visueller Architekturmodelle und in begrenzter Ergebnistiefe. Zukünftige Arbeiten sollten sich auf die Verbesserung der Promptgestaltung, die Integration visueller Modelle sowie auf erklärende Ausgaben zur Steigerung der Robustheit und Praxistauglichkeit konzentrieren.