Variationelle Verfeinerung zur Schätzung von Szenenfluss

Abstract

Die Schätzung der durch den Szenenfluss beschriebenen dreidimensionalen Bewegung aus Bildsequenzen ist eine der anspruchsvollsten Aufgaben im Bereich des Maschinensehens. Bei der Berechnung des Szenenflusses liefern Neuronale Netze aktuell die besten Ergebnisse. Eine weitere Verbesserung versprechen variationelle Ansätze zur Verfeinerung einer initialen Szenenflussschätzung. Dies motiviert das Ziel der vorliegenden Arbeit: Das Entwickeln variationeller Modelle zur Verfeinerung einer initialen Szenenflussschätzung. Dafür werden sich die enge Verwandtschaft von Szenenfluss und optischem Fluss sowie die Errungenschaften variationeller Verfahren zur Schätzung des optischen Flusses zu Nutze gemacht. Deshalb wird der Szenenfluss in dieser Arbeit als Kombination von optischer Fluss- und Stereo-Schätzung auf Basis eines Stereobildpaares in der Bildebene berechnet. Zur Formulierung des Verfeinerungsschrittes wird die von Brox et. al [4] eingeführte und auf den optischen Fluss bezogene differentielle Formulierung auf den Szenenfluss übertragen. Nach einer Einführung in das Thema und der Darstellung benötigter Konzepte wird ein verallgemeinertes, variationelles Modell zur Szenenflussverfeinerung entwickelt, diskretisiert und ein Iterationsschema zur Berechnung der Verfeinerung aufgestellt. Außerdem werden weiterführende Konstanz- und Glattheitsannahmen des optischen Flusses auf den Szenenfluss angewandt und differentiell formuliert. Daraus ergibt sich eine Vielzahl von Modellvarianten, von denen eine Vorauswahl, mit dem Ziel, die beste zu ermitteln, vergleichend evaluiert wird. Anhand einer aktuellen Benchmark wird überprüft, inwiefern der in dieser Arbeit entwickelte variationelle Verfeinerungsschritt eine Verbesserung der initialen Szenenflussschätzung erreicht. Dabei basiert die initiale Schätzung des Szenenflusses auf einem state-of-the-art Neuronalen Netzwerk. Die Experimente zeigen, dass sich mit keinem der evaluierten Modellvarianten eine Verbesserung der initialen Szenenflussschätzung erreichen lässt - wird der gesamte Datensatz der Evaluation betrachtet. Allerdings kann in einzelnen Bildsequenzen tatsächlich eine deutliche Verbesserung nachgewiesen werden, die das Potential der vorgestellten Methode erkennen lässt.

Estimating the three-dimensional motion described by the scene flow from image sequences is one of the most challenging tasks in the field of computer vision. Currently, neural networks provide the best results for the computation of scene flow. Further improvement is promised by variational approaches through a refinement of an initial scene flow estimation. This motivates the goal of the present thesis: the development of variational models for the refinement of an initial scene flow estimation. For this purpose, the close relationship between scene flow and optical flow as well as the achievements of variational methods for optical flow estimation are used. Therefore, the scene flow in this paper is calculated as a combination of optical flow and stereo estimation based on a stereo image pair in the image plane. To formulate the refinement step, the differential formulation introduced by Brox et. al [4], which is related to optical flow, is applied to scene flow. After an introduction to the topic and the presentation of required concepts, a generalised variational model for scene flow refinement is developed, discretised and an iteration scheme for computing the refinement is established. Furthermore, advanced constancy and smoothness assumptions of optical flow are applied to scene flow and formulated in a differential form. This results in a large number of model variants, of which a pre-selection is comparatively evaluated with the aim of determining the best one. On the basis of a current benchmark, it is examined to what extent the variational refinement step developed in this work achieves an improvement of the initial scene flow estimation. The initial estimation of the scene flow is based on a state-of-the-art neural network. The experiments show that no improvement of the initial scene flow estimation can be achieved with any of the evaluated model variants - if the entire evaluation data set is considered. However, a clear improvement can indeed be demonstrated in individual image sequences, which shows the potential of the presented method.