A Dataset Generation Framework for motion estimation

Abstract

Motion estimation is a core task in computer vision necessary for understanding and interacting with dynamic environments. Currently, the best-performing motion estimation methods are often supervised neural networks that require a great amount of annotated data. As annotating real-world data with motion information is difficult and error-prone, several dataset generators were created to produce synthetic motion estimation data with rich ground-truth annotations. However, these generators usually focus on specific dataset aspects such as photo-realism and data diversity paying no attention to aspects essential for researching the influence of training data on network performance. In this work, we present our Dataset Generation Framework with emphasis on data reproducibility, high controllability of data parameters and extendability to new tasks and requirements. We show that our framework is able to produce training data that is more efficient than the established training datasets, create datasets with specific features for testing purposes and generate datasets that are identical except for a single parameter change useful for isolating and examining the influence of the parameter.

Die Bewegungsbestimmung ist eine Kernaufgabe im maschinellen Sehen, die für das Verständnis dynamischer Umgebungen und die Interaktion mit ihnen erforderlich ist. Die derzeit leistungsstärksten Methoden zur Bewegungsbestimmung sind häufig überwachte neuronale Netze, die große Mengen annotierter Daten erfordern. Da es schwierig und fehleranfällig ist, reale Daten mit Bewegungsinformationen zu annotieren, wurden mehrere Datensatzgeneratoren entwickelt, um synthetische Daten mit umfassenden Ground-Truth-Annotationen zu erzeugen. Diese Generatoren konzentrieren sich jedoch in der Regel auf bestimmte Datensatzaspekte wie Fotorealismus und Datenvielfalt und berücksichtigen nicht Aspekte, die für die Erforschung des Einflusses von Trainingsdaten auf die Netzwerkleistung wesentlich sind. In dieser Arbeit stellen wir unser Dataset Generation Framework mit Schwerpunkt auf Datenreproduzierbarkeit, hoher Kontrollierbarkeit von Datenparametern und Erweiterbarkeit auf neue Aufgaben und Anforderungen vor. Wir zeigen, dass unser Framework in der Lage ist, Trainingsdaten zu erzeugen, die effizienter sind als die etablierten Trainingsdatensätze, erstellen Datensätze mit spezifischen Merkmalen zu Testzwecken und generieren Datensätze, die bis auf eine einzelne Parameteränderung identisch sind und sich zur Isolierung und Untersuchung des Einflusses der Parameter eignen.