Taxonomy of first and second order regularizers for variational motion estimation

Abstract

Automatic detection of motion in images is one of the main challenges in the field of computer vision. It can be used in many applications to improve their results. One essential part of motion detection is the computation of a displacement vector field (optical flow) between consecutive image pairs. Techniques that allow the most accurate results at the time belong to global optimization methods (variational methods). Using variational methods one typically has to minimize energy (cost) functionals. In this thesis we model different energy functionals and study as well as evaluate them in terms of their accuracy with respect to motion estimation based on common test sequences. An energy functional penalizes deviations of model assumptions. It consists of a data and a regularization term (smoothness term). While the data term with its constancy assumptions is used to detect corresponding structures between different images, the regularization term allows a smoothing of the motion field to provide a dense solution. We focus on modeling different regularizers in this work, including such ones, which were successfully used in variational methods for other fields but not considered for motion estimation until now. The thesis is divided into three main parts: (1) We initially present a prototypical variational method to estimate optical flow. Starting with the continuous model, we discretize the method and a possible solution of the resulting equations is derived. At this point, more advanced data terms are introduced as well. (2) Afterwards, we present regularizers of different order and combination. Furthermore, we consider an isotropic and an anisotropic version of each regularizer. Incorporating additional image information we expect the direction-dependent smoothing of anisotropic regularizers to provide more accurate solutions. (3) Finally, we compare the different regularizers to each other, where we also make use of the several data terms.

Die automatisierte Erkennung von Bewegung in Bildern ist, vor allem wegen der Nützlichkeit in zahlreichen Anwendungsgebieten, eine der Hauptherausforderungen auf dem Gebiet des Maschinensehens. Ein grundlegender Bestandteil der Bewegungserkennung ist die Berechnung eines Verschiebungsvektorfelds (optischer Fluss) zwischen aufeinanderfolgenden Bildpaaren. Verfahren, die zurzeit die genaueste Berechnung des optischen Flusses ermöglichen, gehören zu den globalen Optimierungsmethoden (Variationsansätze). In solchen Variationsansätzen werden häufig Energiefunktionale (Kostenfunktionale) minimiert. In dieser Masterarbeit werden verschiedene Kostenfunktionale modelliert und auf Basis gemeinsamer Testsequenzen hinsichtlich ihrer Genauigkeit der Bewegungsschätzung untersucht und evaluiert. Ein Kostenfunktional bestraft Abweichungen von Annahmen der Modellierung. Es besteht typischerweise aus einem Daten- und einem Regularisierungsterm (Glattheitsterm). Während der Datenterm mit Konstanzannahmen zur Erkennung korrespondierender Strukturen in unterschiedlichen Bildern genutzt wird, erlaubt der Regularisierungsterm eine Glättung des Bewegungsfelds, um eine dichte Lösung zu liefern. Der Schwerpunkt der Modellierung in dieser Arbeit wird auf verschiedene Regularisierer gelegt - unter anderem auch auf solche, die bisher erfolgreich in Varationsansätzen für andere Bereiche wie dem Entrauschen oder Focus Fusion, aber noch nicht zur Bewegungsschätzung genutzt wurden. Die Masterarbeit lässt sich in drei Hauptabschnitte unterteilen: (1) Zunächst wird ein variationelles Verfahren zur Schätzung des optischen Flusses vorgestellt. Vom kontinuierlichen Modell ausgehend wird diskretisiert und eine mögliche Lösung des Verfahrens hergeleitet. An dieser Stelle werden auch schon weiterentwickelte Datenterme eingeführt. (2) Anschließend werden Regularisierer unterschiedlichen Grades und Kombination präsentiert. Je Regularisierer wird zudem eine isotrope und eine anisotrope Variante betrachtet. Unter Berücksichtigung zusätzlicher Bildinformationen soll die richtungsgesteuerte Glättung der anisotropen Varianten eine genauere Schätzung liefern. (3) Zum Schluss werden die verschiedenen Regularisierer in Verbindung mit den unterschiedlichen Datentermen miteinander verglichen.