Automated generation of pipelines for machine learning in industrial manufacturing

Abstract

In recent years, machine learning (ML) has become a vital part of the fourth industrial revolution, known as Industry 4.0. The pervasive integration of sensors and the digital transformation of processes have elevated data to a crucial resource within modern manufacturing. Yet, harnessing this data to craft dependable and well-performing ML models remains a challenge. This task often requires a cross-functional team of domain experts who understand the underlying business domain and trained data scientists with extensive ML expertise to create a top-performing ML model successfully. Automated machine learning (AutoML) aims to revolutionize the iterative, manual model-building process by automating the tasks involved. Despite AutoML’s promising results across diverse domains, its integration within the manufacturing area remains essentially non-existent. This thesis delves into the challenges preventing AutoML’s adoption within Industry 4.0. Therefore, we introduce two related technical contributions to efficiently build highly adaptable, well-performing, and robust ML models, leading to a single generic approach for the diverse requirements in the manufacturing landscape. Additionally, we propose an adaptation of AutoML to time series data, an integral data type within manufacturing. Beyond technical innovation, this thesis examines potential barriers preventing the practical use of AutoML in Industry 4.0. We investigate AutoML’s alignment with the standard process for model-building (CRISP-DM) and practitioners’ motivations for using AutoML methods. Furthermore, we introduce a novel visual analytics tool to explain and validate AutoML optimizations, leading to increased trust in AutoML and remedying a major obstacle for the practical use of AutoML. Finally, we evaluate our contributions to AutoML on two real-world Industry 4.0 use cases. First, we show that AutoML is able to outperform manually created ML models for predicting the remaining useful life of engineering systems, a crucial step in predictive maintenance. Second, we use AutoML to effectively generate price predictions for used heavy construction equipment in a case study with a strong focus on enabling domain experts with no ML expertise. In den letzten Jahren ist maschinelles Lernen (ML) zu einem wichtigen Bestandteil der vierten industriellen Revolution, auch bekannt als Industrie 4.0, geworden. Die sich ausbreitende Integration von Sensoren und die digitale Transformation von Prozessen haben Daten zu einer entscheidenden Ressource in der modernen Fertigung gemacht. Es bleibt jedoch eine Herausforderung, zuverlässige und leistungsstarke ML-Modelle auf Basis dieser Daten zu entwickeln. Dies erfordert häufig interdisziplinäre Teams aus Domänen Experten, die den zugrunde liegenden Geschäftsbereich verstehen, und Daten Wissenschaftlern mit ML-Expertise. Automatisiertes maschinelles Lernen (AutoML) zielt darauf ab, diesen iterativen, manuellen Prozess zu revolutionieren, indem viele der damit verbundenen Aufgaben automatisiert werden. Trotz der vielversprechenden Ergebnisse von AutoML in verschiedenen Anwendungsbereichen, ist die Integration von AutoML in die Fertigung noch sehr limitiert. Diese Arbeit befasst sich mit den Herausforderungen, die den Einsatz von AutoML in der Industrie 4.0 erschweren. Wir präsentieren zwei aufeinander aufbauende, technische Lösungsvorschläge, um anpassungsfähige und robuste ML-Modelle mit hoher Vorhersagekraft automatisch zu erzeugen. Dadurch können mit nur einem Ansatz die vielfältigen Anforderungen der Produktion an ML-Modelle behandelt werden. Außerdem passen wir AutoML an Zeitreihendaten, einem wesentlichen Datentyp in der Fertigung, an. Darüber hinaus untersucht diese Arbeit die potenziellen Hürden, die den praktischen Einsatz von AutoML für Industrie 4.0 verhindern. Wir untersuchen, wie AutoML sich in den Standardprozess für die Modellerstellung (CRISP-DM) einfügt und warum Nutzer AutoML verwenden. Außerdem stellen wir ein Visual-Analytics-Verfahren vor, mit dem AutoML-Optimierungen erklärt und validiert werden können. Dadurch kann das fehlende Vertrauen in AutoML, einem der Hauptgründe für dessen geringe Nutzung, beseitigt werden. Schließlich verwenden wir AutoML, um zwei reale Anwendungsfälle im Kontext von Industrie 4.0 zu lösen. Zuerst zeigen wir, dass AutoML bei der Vorhersage der Restlebensdauer von technischen Systemen, einem entscheidenden Schritt bei der vorausschauenden Instandhaltung, bessere Ergebnisse liefert als von Experten manuell erstellte Modelle. Darüber hinaus nutzen wir AutoML um automatische Preisvorhersagen für gebrauchte Baumaschinen für Domänen Experten in einer Fallstudie erfolgreich umzusetzen.