An object representation and methods for uncertainty-aware shape estimation and grasping

Abstract

One of the keys to understanding intelligence is the experience of reproducing it, building it into systems we create. Robotics is the natural ground to implement, test, evaluate and realise concepts. It has already taught us that intelligence is not solely a matter of high cognition, but implies understanding of seemingly trivial everyday skills like walking, sentiment detection and interaction with the physical world.

This thesis introduces an internal object representation for the purpose of robotic manipulation. It abstracts the physical appearance of objects and rather considers a function which describes the surface implicitly. The developed methods for building such models employ Bayesian statistical approaches to fuse the information sources - different sensors and a priori knowledge - and estimate the form of an object being aware of the uncertainties.

The functions have such a shape that can be interpreted as potential field generated by the object. A controller uses this to navigate a robot arm for grasping and manipulation. Since the representation translates the uncertainty of the sensors into confidence of the model, an improved controller is able to employ this in order to achieve more robust grasping or more efficient estimation of an object. This links to exploration-exploitation notions related to decision theory.

Finally, the grasp and estimation methods are integrated to systems used to demonstrate or quantify in simulated and real environments the benefits and limitations of the representation.

The key beliefs and insights the thesis builds on and attempts to convey are that sensing and control must benefit from each other; embodiment - own and environmental limitations - are important for learning; object models need to be aware of uncertainty and expose it; uncertainty is motion feature - must be used to improve control; the real world eventually requires uncertainty-aware hardware.

Künstliche und natürliche Intelligenz können wir Menschen besser verstehen, wenn wir versuchen sie nachzubilden, d.h. von uns gebaute Systeme mit ihr zu versehen. Somit spielt Robotik für die Intelligenzforschung eine zentrale Rolle als das Versuchsfeld, auf dem wir unsere Theorien ausprobieren und Erkenntnisse gewinnen. Intelligenz fängt nicht erst beim Schachspielen oder anderen hohen kognitiven Fähigkeiten an, sondern bereits bei alltäglichen, unbewussten, banalen Aktivitäten, wie dem Laufen oder dem Umgang mit der uns umgebenden physikalischen Welt.

Diese Dissertation beschäftigt sich mit dem Greifen von Gegenständen im Kontext der Robotik. Es wird eine neuartige Beschreibung für Gegenstände entwickelt. Dazu gehören auch Methoden, die diese Repräsentation benutzen, um die Form von Gegenständen zu schätzen und sie zu greifen. Anstatt explizit die materielle Erscheinung eines Gegenstandes zu beschreiben, wird er als eine Funktion dargestellt, die seine Form implizit beschreibt. Die Funktion wird durch Bayesianische statistische Methoden von einzelnen Oberflächenpunkten approximiert. Dadurch entsteht eine Verteilung über die möglichen Formen. Die wahrscheinlichste Form wird benutzt, um anhand einfacher Heuristiken den Roboter zu einem erfolgreichen Griff zu bewegen.

In dieser Repräsentation lassen sich die Messwerte verschiedener unpräziser Sensoren mit etwaigem a priori Wissen fusionieren. Die Beschreibung ist nicht nur eng an das sensorische System gekoppelt, sondern die Interpretation der geschätzten Funktion eignet sich auch zum Erzeugen von Greif- und Manipulationsbewegungen. Darüber hinaus wird die Unsicherheit der Sensoren in eine Abschätzung der Verlässlichkeit des Models übersetzt. Ein Regelungssystem kann sie benutzen, um das Greifen oder das Erkundigen eines Gegenstandes sicherer oder effizienter zu gestalten. Die Berücksichtigung von Unsicherheit in der Bewegungserzeugung stellt eine Verbindung zu der Exploration-Exploitation-Problematik der Entscheidungstheorie her.

Schließlich werden die einzelnen Methoden in simulierte und reale Systeme integriert, um in Experimenten und Demonstrationen die Eigenschaften der Repräsentation zu illustrieren und zu quantifizieren.

Wichtige Überzeugungen und Erkenntnisse, die dieser Arbeit zugrunde liegen, bzw. die sie vermittelt, sind: Sensorik und Motorik gehören zusammen und sollen voneinander profitieren; Die Einschränkungen, gegeben durch die Fähigkeiten eines Agenten und durch seine Umgebung, sind von großer Bedeutung - als Hinweis, was in der Welt (un)wichtig zum Lernen ist; Eine Repräsentation soll Unsicherheiten berücksichtigen und sie darstellen; Die quantifizierte Unsicherheit soll in die Bewegungserzeugung einfließen; Eine sinnvolle Umsetzung in der realen Welt erfordert auch Hardware, die inhärent mit Unsicherheiten umgeht.