Concepts and methods for the design, configuration and selection of machine learning solutions in manufacturing

Abstract

The application of Machine Learning (ML) techniques and methods is common practice in manufacturing companies. They assign teams to the development of ML solutions to support individual use cases. This dissertation refers as ML solution to the set of software components and learning algorithms to deliver a predictive capability based on available use case data, their (hyper) paremeters and technical settings. Currently, development teams face four challenges that complicate the development of ML solutions. First, they lack a formal approach to specify ML solutions that can trace the impact of individual solution components on domain-specific requirements. Second, they lack an approach to document the configurations chosen to build an ML solution, therefore ensuring the reproducibility of the performance obtained. Third, they lack an approach to recommend and select ML solutions that is intuitive for non ML experts. Fourth, they lack a comprehensive sequence of steps that ensures both best practices and the consideration of technical and domain-specific aspects during the development process. Overall, the inability to address these challenges leads to longer development times and higher development costs, as well as less suitable ML solutions that are more difficult to understand and to reuse. This dissertation presents concepts to address these challenges. They are Axiomatic Design for Machine Learning (AD4ML), the ML solution profiling framework and AssistML. AD4ML is a concept for the structured and agile specification of ML solutions. AD4ML establishes clear relationships between domain-specific requirements and concrete software components. AD4ML specifications can thus be validated regarding domain expert requirements before implementation. The ML solution profiling framework employs metadata to document important characteristics of data, technical configurations, and parameter values of software components as well as multiple performance metrics. These metadata constitute the foundations for the reproducibility of ML solutions. AssistML recommends ML solutions for new use cases. AssistML searches among documented ML solutions those that better fulfill the performance preferences of the new use case. The selected solutions are then presented to decision-makers in an intuitive way. Each of these concepts was evaluated and implemented. Combined, these concepts offer development teams a technology-agnostic approach to build ML solutions. The use of these concepts brings multiple benefits, i. e., shorter development times, more efficient development projects, and betterinformed decisions about the development and selection of ML solutions.

Die Anwendung von Verfahren des maschinellen Lernens (ML) findet in Produktionsunternehmen immer häufiger statt. Entwicklungsteams werden beauftragt, ML-Lösungen zur Unterstützung individueller Anwendungsfälle umzusetzen. Mit dem Begriff ML-Lösung bezeichnen wir eine Menge an Softwarekomponenten und Lernalgorithmen, die eine prädiktive Fähigkeit bieten. ML-Lösungen basieren auf Anwendungsfalldaten, (Hyper) Parametern und technischen Konfigurationen. Aktuell sind Entwicklungsteams mit vier Herausforderungen konfrontiert, welche den Entwicklungsprozess für ML-Lösungen erschweren. Erstens, es mangelt an einem formellen Ansatz zur Spezifikation von ML-Lösungen, der die Auswirkung einzelner Lösungskomponenten auf domänenspezifische Anforderungen nachweist. Zweitens, es mangelt an einem Ansatz zur Dokumentation von ML-Lösungskonfigurationen, mit welchen die erzielten Ergebnisse reproduzierbar werden. Drittens, es mangelt an einem Ansatz zur Empfehlung und Auswahl von ML-Lösungen, der für nicht ML-Experten intuitiv ist. Viertens, es mangelt an einer ausführlichen Schrittreihenfolge, die den Einsatz von Best Practices sowie die Betrachtung technischer und domänenspezifischer Aspekte während des Entwicklungsprozesses gewährleistet. Die Nichtbeachtung obiger Herausforderungen führt insgesamt zu längeren Entwicklungszeiten und höheren Kosten, sowie zu ungeeigneten ML-Lösungen, welche schwer zu verstehen und wiederzuverwenden sind. Diese Dissertation stellt Konzepte vor, um diese Herausforderungen zu bewältigen. Dies sind das axiomatische Design für maschinelles Lernen (AD4ML), das Profiling-Rahmenwork für ML-Lösungen und AssistML. Axiomatisches Design für maschinelles Lernen (AD4ML) ist ein Konzept zum strukturierten und agilen Entwurf von ML-Lösungsspezifikationen. AD4ML sorgt für einen eindeutigen Bezug zwischen domänenspezifischen Anforderungen und konkreten Softwarekomponenten. AD4ML-Spezifikationen können somit vor der Implementierung hinsichtlich der Anforderungen von Domänenexperten validiert werden. Das Profiling-Rahmenwerk für ML-Lösungen dokumentiert Metadaten von ML-Lösungen zur Beschreibung der Datenmerkmale, technischen Konfigurationen und Parameterwerte von Softwarekomponenten sowie mehrere Leistungsmetriken. Die Metadaten stellen die Basis für die Reproduzierbarkeit entwickelter ML-Lösungen dar. Das Konzept AssistML empfiehlt ML-Lösungen für neue Anwendungsfälle. AssistML sucht aus dokumentierten ML-Lösungen diejenigen, die die Leistungsanforderungen des neuen Anwendungsfalls am besten erfüllen. Die ausgewählten Lösungen werden dann den Entscheidungsträgern einfach und intuitiv vorgestellt. Jedes dieser Konzepte wurde ausgewertet und prototypisch umgesetzt. Zusammen bieten diese Konzepte einen technologieunabhängigen Ansatz zur Entwicklung von ML-Lösungen. Dadurch können ML-Lösungskomponenten schnell identifiziert und wiederverwendet werden. Aussagekräftige Erklärungen für Experten und Nicht-Experten werden ebenso bereitgestellt. Diese Vorteile führen zu kürzeren Entwicklungszeiten, geringerem Ressourceneinsatz pro Entwicklungsprojekt und fundierten Entscheidungen zur Entwicklung und Auswahl von ML-Lösungen.