Cognitive robots for safe and productive human-robot collaboration in manufacturing

Abstract

The shift from mass production to mass personalization has led to the need for cognitive robots that can safely collaborate with human co-workers in human-robot collaboration (HRC) settings. This requires a safety skill for online motion planning and execution capable of performing tasks without harming human co-workers. Existing online motion planning approaches, which ensure human safety, either lack the necessary responsiveness to the dynamic nature of HRC or rely on impractical assumptions about the environment. The proposed global-local integrated reactive (GLIR) planner addresses safety, productivity, responsiveness and practicality, minimizing assumptions about the environment, e.g., by utilizing sensory data as direct inputs. GLIR is evaluated in simulation and showcased on a demonstrator. The evaluations show that GLIR efficiently scales with the size of the input point cloud and the granularity of the used approximations to represent the robot reachability. When benchmarked with state-of-the-art (SotA) planners, including the well-established sampling-based and optimization-based approaches, GLIR surpasses the safe success rate by 7%, eliminates collisions, improves responsiveness by at least four times and provides a bounded computation time regardless of the feasibility of the goal. In dynamic environments, GLIR reaches a moving goal up to 80% more frequently than the evaluated SotA optimization-based and potential field-based local planners. This makes GLIR applicable in unstructured and highly dynamic environments. To further improve the performance of GLIR, a novel human motion prediction network (PredNet) is developed and integrated with GLIR. The evaluations with simulated human behaviors show that integrating PredNet with GLIR leads to a slight improvement of the safe success rate, by up to 2%, while improving the total execution time by up to 7%. Despite its advantages, GLIR's limitations include sensitivity to its parameterization, dependence on the perception module's accuracy and reduced smoothness. Future work suggests addressing these limitations, e.g., by reformulating the local planner from a single-step control horizon to a receding one, and by integrating GLIR with probabilistic human motion prediction modules. In conclusion, this research advances the field of online robot motion planning, particularly in unstructured and dynamic environments. It paves the way for a more cognitive and productive robotic behavior, aimed at practical applications in industrial environments and beyond. Der Wandel von der Massenproduktion zur Massenpersonalisierung hat die Notwendigkeit kognitiver Roboter hervorgebracht, die in der Mensch-Roboter-Kollaboration (MRK) sicher mit menschlichen Arbeitskräften zusammenarbeiten können. Dies erfordert eine Sicherheitsfähigkeit für die Online-Bewegungsplanung und -ausführung, die Aufgaben ohne Gefährdung der menschlichen Kollegen ausführen kann. Bestehende Ansätze zur Online-Bewegungsplanung, die die Sicherheit des Menschen gewährleisten, sind entweder nicht reaktionsschnell genug für die dynamische Natur der MRK oder beruhen auf unrealistischen Annahmen über die Umgebung. Der vorgeschlagene global-lokal integrierte reaktive (GLIR)-Planer berücksichtigt Sicherheit, Produktivität, Reaktionsfähigkeit und Praktikabilität, indem er Annahmen über die Umgebung minimiert, z. B. durch die Verwendung von Sensordaten als direkte Eingaben. GLIR wird in der Simulation bewertet und an einem Demonstrator vorgeführt. Die Auswertungen zeigen, dass GLIR effizient mit der Größe der Eingabepunktwolke und der Granularität der verwendeten Approximationen zur Darstellung der Robotererreichbarkeit skaliert. Im Vergleich mit aktuellen Stand-der-Technik (SotA)-Planern, einschließlich der etablierten Sampling-basierten und optimierungsbasierten Ansätze, übertrifft GLIR die sichere Erfolgsrate um 7%, eliminiert Kollisionen, verbessert die Reaktionsfähigkeit um mindestens das Vierfache und bietet eine begrenzte Rechenzeit unabhängig von der Machbarkeit des Ziels. In dynamischen Umgebungen erreicht GLIR ein bewegliches Ziel bis zu 80% häufiger als die evaluierten SotA-optimierungsbasierten und potenzialfeldbasierten lokalen Planer. Dies macht GLIR in unstrukturierten und hochdynamischen Umgebungen anwendbar. Um die Leistung von GLIR weiter zu verbessern, wird ein neuartiges menschliches Bewegungsvorhersagenetzwerk (PredNet) entwickelt und in GLIR integriert. Die Auswertungen mit simulierten menschlichen Verhaltensweisen zeigen, dass die Integration von PredNet mit GLIR zu einer leichten Verbesserung der sicheren Erfolgsrate um bis zu 2% führt, während die Gesamtausführungszeit um bis zu 7% verbessert wird. Trotz seiner Vorteile weist GLIR einige Einschränkungen auf, wie z. B. die Sensitivität gegenüber seiner Parametrisierung, die Abhängigkeit von der Genauigkeit des Wahrnehmungsmoduls und die geringere Gleichmäßigkeit der Bewegung. Für zukünftige Arbeiten wird vorgeschlagen, diese Einschränkungen zu beseitigen, z.B. durch die Umformulierung des lokalen Planers von einem einstufigen zu einem rückläufigen Kontrollhorizont und durch die Integration von GLIR mit probabilistischen Modulen zur Vorhersage menschlicher Bewegungen. Zusammenfassend leistet diese Forschung einen Beitrag zur Online-Roboterbewegungsplanung, insbesondere in unstrukturierten und dynamischen Umgebungen. Sie ebnet den Weg für ein kognitiveres und produktiveres Roboterverhalten, das auf praktische Anwendungen in industriellen Umgebungen und darüber hinaus abzielt.