An analysis of difficulties and regularities in optical flow benchmarks

Abstract

The extraction of information considering the movement of objects in an image sequence becomes more and more an important problem, amongst others in the area of computer vision. In most cases, a displacement vector field between two consecutive frames of an image sequence should be computed which is often called optical flow. Several methods and approaches have been introduced to compute this optical flow which is why some optical flow benchmarks have been created to evaluate them. These benchmarks contain synthetic and non-synthetic data like the Middlebury Benchmark, synthetic data from an animated short film like the MPI-Sintel Benchmark or real-world data collected by an autonomous driving car like the KITTI Vision Benchmark Suite. However, the difficulties of these benchmarks haven't been investigated so far which is why different metrics should be developed in this thesis to evaluate them. These address image statistics, optical flow statistics, illumination changes, the type of movement and egomotion in stereo scenes. First of all, they are applied on the training data with ground truth flow to estimate afterwards the difficulty of the testing data. The benchmarks which are used are the three mentioned before.

Die Extraktion von Informationen bezüglich der Bewegung von Objekten aus Bildsequenzen wird zu einem immer bedeutenderen Problem, unter anderem im Bereich des Maschinensehens. Meistens soll dabei zwischen zwei aufeinander folgenden Frames einer Bildsequenz ein Verschiebungsvektorfeld berechnet werden, welches häufig als optischer Fluss bezeichnet wird. Viele verschiedene Methoden und Ansätze wurden entwickelt, um den optischen Fluss zu berechnen, weshalb einige Benchmarks entworfen wurden, um sie zu bewerten. Diese enthalten beispielsweise synthetische und reale Daten, wie der Middlebury Benchmark, synthetische Daten aus einem animierten Kurzfilm, wie der MPI-Sintel Benchmark, oder reale Daten, die mithilfe eines selbstfahrenden Fahrzeugs gesammelt wurden, wie beim KITTI Vision Benchmark Suite. Allerdings wurden die Schwierigkeitsgrade dieser Benchmarks bisher kaum untersucht, weshalb in dieser Abschlussarbeit unterschiedliche Metriken entwickelt werden sollen, um diese zu evaluieren. Diese befassen sich mit Bildstatistiken, Statistiken zum optischen Fluss, Beleuchtungsänderungen, der Art der Bewegung und Eigenbewegung in Stereoszenen. Sie werden zunächst auf die Trainingsdaten mit dem Lösungsflussfeld angewendet, um anschließend eine Schätzung der Schwierigkeit für die Testdaten zu ermöglichen. Untersucht werden dabei die drei oben genannten Benchmarks.