An extended analysis of difficulties and regularities in optical flow benchmarks

Abstract

A central problem in the field of computer vision is the extraction of movement from a sequence of images. This includes the determination of the displacement vector field between two subsequent frames. In the context of computer vision this displacement field is referred to as the optical flow. Until today many algorithms have been developed to solve the optical flow problem. In addition researchers have developed various kinds of benchmarks enabling the evaluation on performance and quality of these algorithms. The benchmarks contain real world data (KITTI [GLU12, MG15]), simple synthetic and real data (Middlebury [BSL+11]) and even rendered movies with different rendering modes (MPI Sintel [BWSB12]). However, these benchmarks do not only differ in their creation, but also in the complexity of the scenes. The reason is the different focus on different challenges of the optical flow problem. Even though these benchmarks provide a good environment for comparison, only few studies provide an overall analysis on the difficulties and regularities of these optical flow test suites. These difficulties and regularities include illumination changes, large displacements and different types of movement. One of the few works addressing such an analysis is the master thesis of Hager [Hag17]. Hager analyzed the KITTI 2015, KITTI 2012, Middlebury and MPI Sintel benchmark on the aforementioned difficulties and regularities. This thesis extends the work of Hager by presenting refined, as well as different methods and metrics to increase the interpretability of the obtained results in the different fields. Additionally, it provides a measure for researchers to help them to find image sequences containing a certain difficulty. A variational approach, based on brightness transfer functions, is introduced to measure illumination changes. The large displacement analysis is extended by a scale analysis in order to find large displacements of small objects. The movement type analysis is done using the order adaptive approach of Maurer et al. [MSB17]. The introduced metrics are tested on the training data of the benchmarks, with ground truth and computed flow, and compared to the results of Hager.

Ein zentrales Problem des Maschinensehens ist die Extraktion von Bewegungen aus einer Bildsequenz. Dies beinhaltet die Bestimmung des Verschiebungsvektorfeldes zwischen zwei aufeinander folgenden Bildern. Dieses Verschiebungsvektorfeld wird auch als Optischer Fluss bezeichnet. Bis heute wurden schon viele Algorithmen zur Lösung des Optischen Fluss Problems entwickelt. Gleichzeitig konzipierten Forscher unterschiedliche Benchmarks, gegen die die Algorithmen auf Performanz und Qualität evaluiert werden können. Die Benchmarks umfassen Daten aus der realen Welt (KITTI [GLU12, MG15]), einfache synthetische und reale Daten (Middlebury [BSL+11]) und sogar gerenderte Filme mit verschiedenen Rendermodi (MPI Sintel [BWSB12]). Diese Benchmarks unterscheiden sich nicht nur in ihrer Erstellung, sondern auch in der Komplexität der Szenen. Der Grund dafür ist der Fokus auf unterschiedliche Schwierigkeiten des Optischen Fluss Problems. Obwohl diese Benchmarks sich sehr gut für den Vergleich diverser Algorithmen eignen, beschäftigen sich nur wenige Arbeiten mit einer kompletten Analyse der Optischen Fluss Benchmarks bezüglich Schwierigkeiten und Regularitäten. Diese Schwierigkeiten und Regularitäten beinhalten Beleuchtungsänderungen, große Bewegungen von kleinen Objekten und unterschiedliche Bewegungstypen. Eine dieser wenigen Arbeiten ist die Masterarbeit von Hager [Hag17]. Es werden die KITTI 2015, KITTI 2012, Middlebury und MPI Sintel Benchmark auf die zuvor erwähnten Schwierigkeiten und Regularitäten untersucht. Diese Thesis erweitert die Arbeit von Hager mit überarbeiteten oder gar anderen Methoden und Metriken, um die Interpretierbarkeit der Resultate zu erhöhen. Es soll Forschern ein Messinstrument zur Verfügung gestellt werden, um ihnen bei der Suche nach bestimmten Schwierigkeiten in Testdatensätzen zu helfen. Ein überarbeiteter variationaler Ansatz, basierend auf Helligkeitstransferfunktionen, zur Messung von Beleuchtungsänderungen wird vorgestellt. Die Analyse von großen Verschiebungen wird mit einer Skalenanalyse erweitert, um große Versetzungen von kleinen Objekten zu detektieren und zu lokalisieren. Die Analyse von Bewegungstypen in einem Flussfeld wird mit dem ordnungsadaptiven Ansatz von Maurer et al. [MSB17] durchgeführt. Die vorgestellten Metriken werden mit Trainingsdaten der Benchmarks, mit gegebenem und berechnetem Fluss, evaluiert und mit den Ergebnissen von Hager verglichen.