Development of a hybrid user interface for skill-based robot programming

Abstract

Robot programming is a well-known and time-consuming task.\enspace Various methods have been developed over the years to simplify this process. However, most of these methods focus on a singular device for programming. This thesis applies the concept of Hybrid User Interfaces (HUI) to skill-based robot programming and tests the potential advantage of combining multiple devices to form a user interface. The developed system consists of a Head Mounted Display (HMD), a desktop application, and a smartphone application. It allows the creation and parameterization of skills to form applications, the definition of 3D positions, the simulation with a virtual robot, and the execution on a real robot. An exploratory user study was conducted to show the benefits of such HUIs for online robot programming for assembly tasks. The results show that users mostly prefer the traditional desktop interface to create the main program flow. However, the HMD and smartphone applications were still used for specific sub-tasks, like creating new positions in the 3D space, visualization of a virtual robot, or finetuning parameter values. Based on the results gathered, research questions for future research were formulated.

Die Programmierung von Robotern ist eine bekannte und zeitaufwändige Aufgabe. Im Laufe der Jahre wurden verschiedene Methoden entwickelt, um diesen Prozess zu vereinfachen. Die meisten dieser Methoden konzentrieren sich jedoch auf ein einzelnes Gerät zur Programmierung. Diese Arbeit wendet das Konzept der Hybrid User Interfaces (HUI) auf die skill-basierte Programmierung von Robotern an und testet die potenziellen Vorteile der Kombination mehrerer Geräte zu einer Benutzerschnittstelle. Das entwickelte System besteht aus einem Head Mounted Display (HMD), einer Desktop-Anwendung und einer Smartphone-Anwendung. Es ermöglicht die Erstellung und Parametrisierung von Skills zur Bildung von Programmen, die Definition von 3D-Positionen, die Simulation mit einem virtuellen Roboter und die Ausführung auf einem realen Roboter. Eine explorative Nutzerstudie wurde durchgeführt, um die Vorteile solcher HUIs für die Online-Roboterprogrammierung für Montageaufgaben aufzuzeigen. Die Ergebnisse zeigen, dass die Benutzer die traditionelle Desktop-Oberfläche für die Erstellung des Hauptprogrammablaufs bevorzugen. Die HMD- und Smartphone-Anwendungen wurden jedoch nach wie vor für spezifische Teilaufgaben verwendet, wie die Erstellung neuer Positionen im 3D-Raum, die Visualisierung eines virtuellen Roboters oder die Feinabstimmung von Parameterwerten. Auf der Grundlage der gesammelten Ergebnisse wurden Forschungsfragen für zukünftige Untersuchungen formuliert.