Deep learning based mutual robot detection and relative position estimation

Abstract

Self-localization for mobile robots in dynamic environments is a challenging task, especially when relying solely on odometry and 2D LIDAR data. When operating in fleets, mutual detection and the exchange of position information can support each robots localization. Detecting and classifying different robot types in a heterogeneous fleet, however, is non-trivial if only 2D LIDAR data is used. Object shapes detected with this sensor in the real-world can vary heavily due to irregularities of the environment. In this thesis a novel approach for mutual robot detection and relative position estimation based on a combination of convolutional and ConvLSTM layers is therefore presented in order to solve this issue. The algorithm learns an end-to-end classification of robot shapes using 2D LIDAR information transformed into a grid-map. Subsequently multiple hypotheses for each robot type are extracted out of the heatmap output of the network using a hierarchical clustering algorithm combined with a centroid calculation for each hypothesis. These position hypotheses can then be used in an overall multi-robot localization in order to increase the localization of the robots. Due to the similarities that many robot shapes in 2D LIDAR data share with static objects in the environment (rectangles, circles), an additional pre-processing of the data is performed. Three different end-to-end approaches for semi- and fully-dynamic object detection are introduced. The first one is using stacked laser-scans with a Convolutional Network in order to detect spatio-temporal features of moving objects. The second one transforms the sensor data into a 2D grid-map and accumulates multiple consecutive maps to create a map with spatio-temporal features for moving objects. This map is then used as an input for a ConvLSTM network. Both approaches only detect semi-dynamic objects, since the spatio-temporal features in both cases are only visible for robots moving at the currently viewed time-span. Another simple approach is presented for extracting fully-dynamic objects by calculating the difference between the static grid-map provided by the robots Localization & Mapping algorithm and the grid-map calculated from the laser-scan. We conduct an in-depth evaluation in order to determine the networks’ ability to generalize to different environments and cope with uncertainty in the input data. Furthermore the benefit of using simulation data for pre-training real-world models is evaluated together with the improvement of pre-processing the data by the dynamic object detection networks. The results of our evaluation show, that the classification network is able to achieve a precision of 94% on real-world data with a position estimation error of 13cm. Pre-processing on the other hand does not improve the networks performance overall, although the two 2D approaches for dynamic object detection are able to identify most of the moving robots correctly. Using 1D scan data on the other hand does not lead to any promising results for dynamic object detection. In order to determine the benefit of the mutual robot detection and position estimation, the system will be integrated into a multi-robot localization subsequent to this thesis.

Die selbstständige Lokalisierung mobiler Roboter in dynamischen Umgebungen ist eine anspruchsvolle Aufgabe, speziell wenn lediglich Odometry und 2D LIDAR Daten verfügbar sind. In einer Flotte mobiler Roboter kann jedoch die gegenseitige Detektion sowie der Austausch von Positionsinformationen die Lokalisierung der einzelnen Roboter verbessern. Mobile Roboter in einer heterogenen Flotte zu erkennen und zu klassifizieren, ist jedoch nicht trivial, wenn nur ein 2D LIDAR Sensor verwendet wird. Die Form eines Objektes, welches von diesem Sensor erkannt wird, kann in der realen Welt aufgrund von Unregelmäßigkeiten in der Umgebung große Variationen aufweisen. In dieser Thesis wird daher ein neuartiger Ansatz zur gegenseitigen Detektion von Robotern und relativer Positionsbestimmung basierend auf einer Kombination von convolutional und ConvLSTM Layern vorgestellt, um dieses Problem zu lösen. Der Algorithmus lernt eine Ende-zu-Ende Klassifizierung von Roboterformen unter der Verwendung von 2D LIDAR Daten, welche in eine Grid-Map transformiert werden. Anschließend werden mehrere Hypothesen für jeden Robotertyp aus dem Heatmap Output des Netzwerks mit Hilfe eines hierarchischen Clustering Algorithmus mit Zentroid Kalkulation extrahiert. Diese Hypothesen können anschließend in einer Multi-Roboter Lokalisierung verwendet werden. Aufgrund der Ähnlichkeit vieler Roboterformen mit typischen statischen Objekten (Rechteck, Kreis) werden die Daten zusätzlich noch vorverarbeitet. Drei verschiedene Ende-zu-Ende Ansätze zur semi- sowie voll-dynamischen Objekterkennung werden vorgestellt. Der erste Ansatz verwendet gestapelte 1D Laser-Scans mit einem Convolutional Network, um räumlich-zeitliche Feature von sich bewegenden Objekten zu erkennen. Der zweite transformiert die Sensordaten in eine 2D Grid-Map und akkumuliert mehrere aufeinanderfolgende Karten, um so zeitlich-räumliche Feature zu erzeugen. Diese akkumulierte Karte wird dann von einem ConvLSTM Netzwerk verarbeitet. Beide Ansätze sind lediglich fähig semi-dynamische Objekte zu erkennen, welche sich innerhalb des betrachteten Zeitrahmens bewegen. Ein weiterer Ansatz extrahiert hingegen alle dynamischen Objekte, indem es mit Hilfe eines Convolutional Networks die Differenz der statischen Karte des robotereigenen Langzeit-SLAMs und der dynamischen Karte der Sensordaten berechnet. Wir führen eine tiefgehende Evaluierung durch, um die Fähigkeit der Netzwerke festzustellen, sich an verschiedene Umgebungen anzupassen und mit Unsicherheit in den Inputdaten umzugehen. Des Weiteren wird der Vorteil von mit Simulationsdaten vortrainierten Modellen, welche anschließend auf Realdaten trainiert werden zusammen mit der Verbesserung durch ein Vorverarbeiten der Daten evaluiert. Die Resultate der Evaluierung zeigen, dass das Klassifikations-Netzwerk eine Präzision von 94% auf Realdaten erreicht, mit einem durchschnittlichen Fehler in der Positionsbestimmung von 13cm. Die Vorverarbeitung der Daten führt im Allgemeinen nicht zu einer Verbesserung der Leistung des Netwerks, obwohl die Netze zur dynamischen Objekterkennung die meisten dynamischen Objekte korrekt identifizieren können (80%). Die Verwendung von 1D Sensordaten führt wiederum zu keinen vielversprechenden Resultaten in der dynamischen Objekterkennung. Um die Verbesserung der gegenseitigen Robotererkennung und Positionsbestimmung zu bestimmen, wird das vorgestellte System im Anschluss an diese Arbeit in eine Multi-Roboter Lokalisierung eingebunden.