Reference architectures for MLOps : a comparative case study

Abstract

Machine Learning (ML) has become a huge topic in the field of Software Engineering in recent times. An important step in the development of a software system is the selection of a fitting reference architecture to base the system on. This also applies for software systems in the context of Machine Learning. The goal of this study was to collect reference architectures for ML-based systems and compare them based on a selected use case from the field of regression-based models. We performed a literature review to find reference architectures in scientific literature. We found some literature on the topic, from which we extracted six reference architectures. Some of the architectures are already well known and also used outside of ML topics. From the six architectures we found, we selected two based on their applicability for our use case and implemented a prototype system for each of them, both with the same functionality. Using all the information we gathered and our prototype systems, we then evaluated the benefits and drawbacks of the different architectures. We envision that our results can help practitioners in the process of choosing a reference architecture for their system. Machine Learning (ML) ist in den letzten Jahren zu einem wichtigen Bestandteil des Software Engineering geworden. Ein wichtiger Schritt bei der Entwicklung eines Softwaresystems ist das Auswählen einer Referenzarchitektur, die als Basis für das System verwendet wird. Das gilt auch für Softwaresysteme im Kontext von ML. Das Ziel dieser Studie war es, Referenzarchitekturen für ML-basierte Systeme zu sammeln und sie auf Basis eines Use Case aus dem Bereich der regressionsbasierten Modelle zu vergleichen. Dazu haben wir eine Literaturrecherche durchgeführt, um Referenzarchitekturen in wissenschaftlicher Literatur zu finden. Wir haben einige Literatur zu diesem Thema gefunden und darin sechs Referenzarchitekturen identifiziert. Einige der Architekturen sind bereits bekannt und werden auch außerhalb des Machine Learning verwendet. Aus den sechs Architekturen haben wir, basierend auf ihrer Anwendbarkeit in unserem Use Case, zwei ausgewählt und für jede ein Prototyp-System implementiert, wobei beide Systeme dieselbe Funktionalität bieten. Mithilfe aller gesammelten Informationen und der beiden Prototyp-Systeme haben wir dann die verschiedenen Architekturen evaluiert und Vor- und Nachteile zu diesen gesammelt. Wir erhoffen uns, dass unsere Ergebnisse dabei helfen können, die Auswahl einer Referenzarchitektur für bestimmte Systeme zu vereinfachen.