Long-term motion prediction in traffic

Abstract

The field of Inverse Reinforcement Learning (IRL) addresses the task of finding a cost function which describes expert behavior. Since the cost function is solely computed from expert demonstrations, the sample complexity exerts influence on the performance of these algorithms. In this thesis we study the Learning to Search (LEARCH) and the maximum entropy IRL framework as example IRL techniques. Based on these two algorithms we develop a variation of the LEARCH algorithm using the idea of maximum entropy IRL. In the next step we extend LEARCH to Deep-LEARCH as well as the newly developed LEARCH variation to a equivalent Deep-LEARCH variation. Thereby we generalize the cost function to function space using Convolutional Neural Networks (CNNs). Including maximum entropy inside the Deep-LEARCH variation increases the density of the target maps of the CNN. We discover that LEARCH shows the lowest sample complexity among the investigated algorithms, while maximum entropy shows the highest sample complexity. In the deep learning setting the increased density of the CNN target maps did not improve the performance. Hence, the performance does not change, if the algorithms are extended by CNNs to the function space.

Inverse Reinforcement Learning (IRL) hat das Ziel, eine Kostenfunktion zu finden, die das Verhalten eines Experten beschreibt. Die Kostenfunktion wird ausschließlich auf den gesammelten Daten des Experten berechnet. Daher beeinflusst die Menge der Beispieldaten das Verhalten und die Genauigkeit eines IRL Algorithmus. In dieser Arbeit wird das Learning to Search (LEARCH) framework und das Maximum Entropie IRL framework beispielhaft als IRL Methoden vorgestellt. Basierend auf diesen Algorithmen wird eine Variante des LEARCH Algorithmus entwickelt, die die Idee von Maximum Entropie aufgreift. Im nächsten Schritt ergänzen wir die eingeführten Algorithmen durch Convolutional Neural Networks (CNNs). Die Dichte der Ausgabeabbildung ist in der LEARCH Variante im Gegensatz zu LEARCH durch den Einsatz von Maximum Entropie erhöht. Wir untersuchen, wie sich dies auf die Beispielkomplexität auswirkt. In der Analyse zeigt LEARCH die geringste Komplexität an Beispielsdaten, wohingegen Maximum Entropie die höchste Beispieldatenkomplexität zeigt. Dies ändert sich nicht, wenn CNNs den Algorithmen hinzugefügt werden. Die erhöhte Dichte der Ausgabeabbildungen des CNNs in der LEARCH Variante könnte das Lernverhalten der LEARCH Variante nicht verbessern.