Spatial predictive models of object manipulation

Abstract

Human-robot interaction requires good coordination so that the human and robot can perform their tasks without interruption. Most importantly, the robot needs to be able to react to movements of the human in order to prevent harm to the human or objects. A basic necessity is tracking of the current position of the human and objects. For this, existing motion tracking systems can be used to track both the human and objects in the environment. In addition, information about future movements can be useful to improve the interaction. In this thesis, methods for detection and prediction of human activities using machine learning are developed and evaluated. Our system can discern a set of different activities based on 3-dimensional position data of objects and the human skeleton together with the eye gaze direction. Further, it generates trajectories of possible future movement for each of these activities. These are scored in order to anticipate the most likely activity in the near future. Our results show an improvement in activity recognition performance from using gaze data. Mensch-Roboter-Interaktion erfordert eine gute Koordination, sodass Mensch und Roboter ihre Aufgaben ungestört erfüllen können. Besonders wichtig ist es, dass der Roboter auf Bewegungen des Menschen reagieren kann, um Verletzungen und Schäden an Gegenständen zu verhindern. Eine grundlegende Notwendigkeit ist die Erkennung der aktuellen Position des Menschen und von Gegenständen. Zu diesem Zweck können bestehende Motion-Tracking-Systeme benutzt werden, um sowohl den Menschen als auch Objekte in der Umgebung zu verfolgen. Zusätzlich können Informationen über zukünftige Bewegungen nützlich sein, um die Interaktion zu verbessern. In dieser Arbeit werden Methoden zur Erkennung und Vorhersage von menschlichen Aktivitäten mithilfe von maschinellem Lernen entwickelt und evaluiert. Unser System kann eine Menge verschiedener Aktionen aufgrund dreidimensionaler Positionsdaten von Objekten und des menschlichen Körpers zusammen mit der Blickrichtung unterscheiden. Darüber hinaus erzeugt es Trajektorien möglicher zukünftiger Bewegungen für jede dieser Aktivitäten. Diese werden bewertet um die wahrscheinlichste Aktivität in der nahen Zukunft vorherzusagen. Unsere Ergebnisse zeigen eine Verbesserung in der Leistung der Aktivitätserkennung durch die Nutzung von Blickdaten.