Efficient tele-operation of a robot manipulator by means of a motion capture interface

Abstract

One of the core challenges of developing an autonomous robotic system is that of establishing appropriate channels for imparting commands to the robotic system. A successful communication infrastructure is an important component not only for a robotic system at the final deployment state, where it would allow the users to specify tasks, but also during the development stages where the robotic system still has to learn desired behaviours and appropriate responses to the environment's events and other external stimuli.

In the framework of Learning by Demonstration, positive (and sometimes negative) examples are provided to the system by means of direct execution. Kinesthetic teaching consists in providing such demonstrations by physically moving the robot's body -- alas, it is known to be a cumbersome and time-consuming procedure. Another approach is that of controlling the robotic system more indirectly through tele-operation.

We would like to build the appropriate infrastructure to control our PR2 robot using tele-operation, such that a human executer can perform a variety of tasks with minimal effort. We aim at achieving this using our high-precision Polhemus G4 motiontracking system to keep track of human poses and gestures, and interpret these as appropriate commands for the PR2. The ability of switching between various modalities of control is highly desired (e.g in one modality the user controls the position of the robot in the room; in another he controls the arms to perform manipulation; etc).

This project touches upon the subjects of task-space control, collision avoidance and compliance, and gesture recognition.

Das zuverlässige Senden von Befehlen zu einem Robotersystem ist eine kern Herausforderung für die Entwicklung solcher Systeme. Nicht nur im finalen Entwicklungszustand zum Steuern, sondern auch schon während der Entwicklung werden gut funktionierende Kommunikationsinfrastrukturen benötigt. Besonders während der Entwicklung, bei dem das System Bewegungsabläufe und Reaktionen auf die Umgebung noch zu erlernen hat. Aus dem Kontext von "Leaning by Demonstration", bei dem durch physisches bewegen des Roboters, posistive sowohl als auch negative Beispiele generiert werden. Solche physische Demonstrationen sind bekannt dafür eine zeitaufwendige Prozedur zu sein. Ein weiterer Ansatz wäre ein Robotersystem indirekt über Teleoperation zu steuern. Das Ziel dieser Arbeit ist es eine Infrastruktur zu errichten um den PR2 Roboter mittels Teleoperation zu steuern. Der Mensch soll die Möglichkeit erlangen eine Vielzahl von Aufgaben mit möglichst geringem Aufwand durchzuführen. Dafür benutzen wir unser hochpräzises G4 Motiontracking-System um Bewegungen des Menschen in Steuerbefehle für unseren Roboter zu übersetzen. Zusätzlich soll der Benutzer zwischen verschieden Moden wechseln können (z.B von Positioniersteuerung des Greifers zu Positioniersteuerung des Roboters im Raum). Dieses Projekt umfasst die Themen "Task-space control", Kollisionsvermeidung, "Compliance" sowie Gestenerkennung.