Multimodal object perception for robotics

Abstract

The ability to recognize and manipulate unknown objects is crucial for any robot to successfully work in natural environments. Object recognition and categorization is a very challenging problem, as three-dimensional objects often give rise to ambiguous, two-dimensional views. This dissertation investigates how multisensory integration methods can be employed to tackle this issue in robotic applications. First, the presented approaches are motivated by discussing aspects of biological and computational object perception. To increase the understanding of the technical context, concepts regarding software development on modern robotic systems will be outlined. The document is separated into two parts, representing two strategies for multimodal object recognition utilizing state-of-the-art robotic hardware. One part focuses on the benefits of employing range sensing technology for the categorization of everyday objects. We present a novel object dataset that served as a testbed to study classification performance combining 2D and 3D cues. The second part incorporates object manipulation into the recognition process. A perception-driven object exploration method, implemented on the humanoid robot iCub, will be presented. In this setup, the robot turns and moves an object in its hand in order to seek out informative views, thereby optimizing the exploration sequence. It will also be shown that, instead of relying on purely visual information, taking motor actions that link object views into account allows the robot to resolve a significant amount of ambiguity.

Die Fähigkeit, unbekannte Objekte zu erkennen und zu manipulieren, ist von entscheidender Bedeutung für Roboter, um in natürlichen Umgebungen arbeiten zu können. Da dreidimensionale Objekte allerdings aus unendlich vielen Ansichten betrachtet werden können, gestaltet sich ihre Erkennung und Klassifikation oft als äußerst schwierig. Im Rahmen dieser Dissertation sollen Wege untersucht werden, wie mittels Integration verschiedener Sensoriken dieses Problem gelöst oder vereinfacht werden kann. Zunächst werden Lösungansätze motiviert, indem auf Aspekte der biologischen und maschinellen Objekterkennung eingegangen wird. Außerdem wird der technische Hintergrund für die Entwicklung von Software für moderne Robotersysteme vorgestellt. Das Dokument gliedert sich in zwei Teile. Diese behandeln zwei Strategien für multimodale Objekterkennung mittels aktueller Robotikhardware. Der erste Teil konzentriert sich auf die Klassifikation von Alltagsgegenständen (z.B. Tassen oder Bücher) mittels Tiefenmessung. Hierfür wurde eine neue Objektdatenbank aufgenommen, die eingesetzt wird um die Kombination von 2D und 3D Information zu untersuchen. Im zweiten Teil wird Objektmanipulation in den Erkennungsprozess integriert. Für den humanoiden Roboter iCub wurde eine Methodik entwickelt, die aktuelle und vorherige Messungen berücksichtigt, um den Objekterkundungsprozess zu steuern. Der Roboter hält hierbei ein Objekt in der Hand und bewegt dieses mit dem Ziel neue Objektansichten mit zusätzlicher Information zu generieren. Zusätzlich wird gezeigt, dass durch die weitere Betrachtung der Roboterbewegung, welche ausgeführt wurde, um eine Ansicht in die andere zu überführen, wichtige Information gewonnen wird. Diese ist besonders in Situationen mit widerspüchlicher visueller Information hilfreich Objekte korrekt zu identifizieren.