Advanced object localization pipeline for robot manipulation

Abstract

The thesis objective is to develop a robust tracking pipeline for a Baxter robot system. The tracking pipeline includes the applications of robot tracking and object tracking, which localizes the surrounding objects for robot manipulation. By combining, extending, and comparing state-of-theart approaches for object tracking and image segmentation, this thesis estimates the initial poses of the objects such that their pose can be used to auto-initialize object tracking algorithms. The pipeline is able to handle unfamiliar and dynamic environments. The system was implemented in simulation and can be applied to a real robotic system. The resulting pipeline uses an RGB image, a depth image, and the 3D object models as input. The outputs are the tracked object poses in real time. A dataset was generated to train the instance segmentation network. Furthermore, the pipeline was evaluated with several conditions to test the robustness of the tracking. A comparison to other 6D pose estimation approaches is provided in the results. The code of the pipeline is available on GitHub: https://github.com/timschaeferde/rai_baxter

Ziel dieser Arbeit ist die Entwicklung einer robusten Pipeline zur Ojektverfolgung für den Baxter Roboter. Die Pipline umfasst die Anwendungen der Roboterkalibrierung und der Objektverfolgung, die die Lage von Objekte im Raum bestimmt, um sie für weitere Aufgaben zu nutzen. Durch die Kombination, Erweiterung und den Vergleich von modernen Ansätzen zur Objektverfolgung und Bilderkennung, soll die initiale Lage der Objekte abgeschätzt werden. Die Pipeline ist in der Lage, Objekte in unbekannten und dynamischen Umgebungen zu lokalisieren. Das System wurde mit einer Simulation implementiert und kann jederzeit auf ein realen Roboter übertragen werden. Die resultierende Pipeline verwendet das RGB Bild, das Tiefenbild sowie die 3D-Objektmodelle als Eingang und gibt die Lage des verfolgten Objekts in Echtzeit wieder aus. Für das Training der Bilderkennung wurde ein Datensatz generiert. Desweiteren wurde die Pipeline unter verschiedenen Bedingungen evaluiert, um die Robustheit der Objektverfolgung zu testen. Ein Vergleich mit ähnlichen Ansätzen ist auch in den Ergebnissen enthalten. Der Quellcode der Pipeline is auf GitHub zu finden: https://github.com/timschaeferde/rai_baxter