Quality attributes in AI-ML-based systems : differences and challenges

Abstract

Context: There is an increasing need for ubiquitous distribution and deployment of AI-ML-based systems in industry and public sectors. This is driven by advances in machine learning techniques, including deep learning and neural networks. However, there are specifc problems with machine learning applications in terms of their quality, which reduce trust in these systems. This is especially problematic for systems which fnd application in safety-critical domains like self-driving cars and disease diagnosis. Machine learning-enabled systems learn from data for decision-making and are not designed to meet conventional requirements specifcations. Whether existing standards and principles of quality attributes demand adaptation to the new context is an open research question. Objectives: In this bachelor thesis, we have four objectives. First, we aim to identify if any non-functional requirements from ISO 25010 undergo a shift in ML-enabled systems. Then, we examine whether any new quality characteristics, e.g., trainability, generalizability, fairness, have emerged and need to be added to the standard. Lastly, we intend to determine the most critical and most challenging attributes in AI-ML-based systems. Concerning the objectives mentioned above, it is especially diffcult to receive an overview of the perspective of software practitioners. Some knowledge does exist on the topic, however, it is insuffcient. Our primary goal is, therefore, to fnd and understand the state-of-practice on quality attributes in AI-ML-enabled systems based on experts’ opinions and needs. Method: We conducted a grey literature review to accomplish the goals of our study. We use two different search engines and a QA website to identify literature on quality attributes coming from software practitioners. In total, 91 grey literature sources were selected from which we extracted the detailed knowledge necessary for our research. Results: The results of our research show that for software systems with machine learning components, some modifcations and adjustments of the conventional quality attributes have to be undertaken. We also encountered several unique non–functional requirements for machine learning-enabled systems such as explainability, fairness, trainability, and generalizability. Moreover, we identifed 13 quality attributes as important and challenging to assure, based on the perspective of authoritative software practitioners. We propose that the quality of systems with machine learning components should be monitored and improved based on the quality attributes resulted from our study. Conclusion: To support machine learning practitioners with resolving the challenges associated with AI-ML-based systems, we present an analysis on which quality characteristics should be accommodated for the unique nature of these applications. The limited 3research on quality attributes for machine learning makes our study more needed in the industry at the moment. We believe it provides major opportunities for future research, which results would foster the improvement of AI-ML-based systems.

Kontext: Es besteht ein zunehmender Bedarf an allgegenwärtiger Verbreitung und Bereitstellung von AI-ML-basierten Systemen in der Industrie und im öffentlichen Sektor. Dies ist auf Fortschritte bei ML-Techniken wie Deep Learning und Neuronalen Netzen zurückzuführen. Es gibt jedoch spezifische Probleme mit ML-Anwendungen hinsichtlich ihrer Qualität, die das Vertrauen in diese Systeme verringern. Dies ist besonders problematisch für Systeme, die in lebenskritischen Bereichen wie selbstfahrenden Autos und der Diagnose von Krankheiten Anwendung finden. ML-fähige Systeme lernen aus Daten für die Entscheidungsfindung und erfüllen daher nicht die herkömmlichen Anforderungsspezifikationen. Ob bestehende Standards und Prinzipien von Qualitätsattributen eine Anpassung an den neuen ML-Kontext erfordern, ist eine offene Forschungsfrage. Ziele: In dieser Bachelorarbeit haben wir vier Ziele. Zunächst möchten wir herausfinden, ob die Interpretation einer der nicht funktionalen Anforderungen aus ISO 25010 in ML-fähigen Systemen geändert werden muss. Anschließend werden wir prüfen, ob neue Qualitätsmerkmale aufgetreten sind und dem Standard hinzugefügt werden müssen. Zuletzt wollen wir die kritischsten und herausforderndsten Attribute ermitteln, die in AI-ML-basierten Systemen sichergestellt werden müssen. In Bezug auf die oben genannten Ziele ist es besonders schwierig, einen Überblick über die Perspektive der Software-Praktiker zu erhalten. Zu diesem Thema gibt es zwar einige Kenntnisse, diese sind jedoch unzureichend. Unser primäres Ziel ist es daher, den Stand der Praxis in Bezug auf Qualitätsmerkmale in AI - ML - fähigen Systemen basierend auf der Meinung und den Bedürfnissen von Experten zu finden und zu verstehen. Methode: Wir haben uns für eine graue Literaturrecherche entschieden, um die Ziele unserer Studie am besten zu erreichen. Wir haben zwei verschiedene Suchmaschinen und eine QA-Website verwendet, um Literatur zu Qualitätsmerkmalen für maschinelles Lernen von Software-Praktikern zu identifizieren. Insgesamt wurden 91 graue Literaturquellen ausgewählt, auf deren Grundlage wir das für unsere Forschung erforderliche detaillierte Wissen sammelten. Ergebnisse: Die Ergebnisse unserer Forschung zeigen, dass für Softwaresysteme mit ML-Komponenten einige Modifikationen und Anpassungen der herkömmlichen Qualitätsmerkmale vorgenommen werden müssen. Wir haben auch einige einzigartige NFRs für ML-fähige Systeme gefunden, wie Erklärbarkeit, Fairness, Trainingsfähigkeit, Generalisierbarkeit usw. Darüber hinaus haben wir 13 Qualitätsattribute als wichtig und herausfordernd identifiziert, basierend auf den Perspektiven autorisierender Software-Praktiker. Mit diesen ausgewählten Qualitätsmerkmalen haben wir vorgeschlagen, dass die Qualität von Systemen mit maschinellen Lernkomponenten von ML-Anwendern überwacht und verbessert werden kann. Fazit: Um Praktiker des maschinellen Lernens bei der Lösung der mit AI-ML-basierten Systemen verbundenen Herausforderungen zu unterstützen, präsentieren wir eine Analyse, welche Qualitätsmerkmale für die Einzigartigkeit dieser Anwendungen berücksichtigt werden sollten. Die begrenzte Forschung zu Qualitätsmerkmalen für maschinelles Lernen macht unsere Studie derzeit in der Branche notwendiger. Wir glauben, dass dies große Chancen für zukünftige Forschungen bietet, deren Ergebnisse die Verbesserung von AI-ML-basierten Systemen fördern würden.