Autonome Entscheidungsfindung in der Produktionssteuerung komplexer Werkstattfertigungen

Abstract

Die Variabilität in der kundenindividuellen Massenproduktion stellt eine enorme Herausforderung für die industrielle Fertigung dar. Die komplexe Werkstattfertigung als Produktionsprinzip eignet sich aufgrund der inhärenten Flexibilität besonders für die kundenindividuelle Massenproduktion. Allerdings sind die bestehenden Methodiken für die Produktionssteuerung einer Werkstattfertigung für die Einmal- oder Wiederholproduktion ausgelegt, was zu Defiziten in der Massenproduktion führt. Entweder ist die globale Qualität der Ergebnisse suboptimal oder die notwendige Echtzeitfähigkeit in der Entscheidungsfindung kann nicht bereitgestellt werden. Zudem entsteht durch Veränderungen und Anpassungen der Produktionssteuerung einer komplexen Werkstattfertigung ein hoher manueller Aufwand. In der vorliegenden Arbeit wird eine Methodik für eine dezentrale, selbstorganisierte und autonome Produktionssteuerung für eine Werkstattfertigung entwickelt, die dazu beiträgt, mit der zunehmenden Komplexität und dem Produktionsvolumen umzugehen. Dabei wird die Produktion als Reinforcement-Learning-Modell formalisiert, das die Grundlage für das autonome Lernen einer Strategie zur Optimierung der Abarbeitungsreihenfolge bildet. Mehrere kooperative Deep-Q-Network-Agenten werden in diesem Modell darauf trainiert, eine Strategie zu finden, die eine gegebene Bewertungsfunktion - meist ein Key Performance Indicator aus der Produktion - maximiert. Die Neuronalen Netze, in denen die erlernte Entscheidungslogik der Deep-Q-Network-Agenten abgebildet ist, werden nach der Trainingsphase in die Produktion übertragen. Der Multi-Agenten-Ansatz trägt dazu bei, dass der Lernvorgang beschleunigt wird und im produktiven Einsatz durch die Dezentralität Entscheidungen schneller bestimmt werden können. Die Erprobung der Methodik in zwei praxisnahen Fallbeispielen aus der Halbleiterindustrie zeigt ihre Leistungsfähigkeit. In beiden Fallbeispielen konnten Strategien zur Optimierung der Abarbeitungsreihenfolge auf oder über Expertenniveau autonom erlernt werden. Konkret konnte dadurch im zweiten Fallbeispiel der Anteil verspäteter Aufträge in einer Technologieklasse von 17, 0 % auf 1, 3 % reduziert werden. Abgerundet wird die Arbeit durch eine Einordnung in das soziotechnische System „Fabrik“, in der die Umsetzung der Reihenfolgeentscheidungen durch die Werker betrachtet wird. Dabei wird offensichtlich, dass die Optimierung der Produktionssteuerung ganzheitlich unter Einbeziehung der Werker in einem kontinuierlichen Verbesserungsprozess erfolgen muss.

The variability in mass customization poses an enormous challenge for industrial production. Due to the inherent flexibility the manufacturing principle of a complex job shop is especially well suited for mass customization. However, the methodologies for production control of a job shop are designed for one-off and batch production, which leads to deficits in mass production. Either the global quality of results is suboptimal or the necessary real-time capability is not ensured. Additionally, changes in the production control lead to a high manual effort in the implementation. In this thesis, a methodology for a decentralized, self-organized and autonomous production control for job shops is developed, which contributes to the management of the rising complexity and production volume. Production is formalized as a reinforcement learning model which is the foundation for the autonomous learning of a strategy for production dispatching. In this model, several cooperative Deep Q Network agents are trained to find a new strategy for maximizing a reward function - mostly a key performance indicator of the production. The neural networks of the Deep Q Network agents, in which the scheduling decision logic is mapped, are transferred into production after the training phase. The multi-agent approach contributes to the acceleration of the training and to the real-time capability in productive use due to the decentral architecture. The validation in two practically relevant use cases proved the performance capability of the methodology. In both use cases new strategies for optimization of the production sequence could be learnt autonomously on par or above the benchmark by human experts. Specifically, the ratio of delayed orders in one technology class was reduced from 17.0 % to 1.3 % in the second example case. The thesis is concluded by considering dispatching in the context of the sociotechnical system “factory”. In order to improve production control holistically and sustainably, operators have to be involved in a continuous improvement process.