Fortgeschrittene Segmentierungs-basierte Verfahren zur Bestimmung des optischen Flusses

Abstract

Die Berechnung des Optischen Flusses ist eines der zentralen Probleme der Computer-Vision. Hierbei wird ein Vektorfeld zwischen zwei aufeinanderfolgenden Bildern einer Bildersequenz bestimmt, das als die Bewegung der Objekte interpretiert werden kann. Häufig wird dieses Problem durch mathematische Modelle, sogenannte Variationsansätze, beschrieben. Diese setzen die Minimierung eines Kostenfunktionals voraus, das Abweichungen der aufgestellten Modellannahmen bestraft. Typischerweise wird dies durch eine pixelbasierte Variante durchgeführt. In den letzten Jahren hat sich jedoch die Integration von Segmentinformation als Erfolg versprechend gezeigt. Das Ziel dieser Arbeit ist es, die Berechnung des Optischen Flusses auf verschiedene segmentbasierte Verfahren umzustellen. Dabei werden die Pixel der Bilder durch eine Mean-Shift-Segmentierung zu inhaltlichen Objekten zusammengefasst, was zu einer besseren Abgrenzung der Objekte führt. Hierbei werden zwei verschiedene Ansätze verfolgt. Zum einen die Umstellung auf segmentbasierte Methoden, die die Bewegung ganzer Segmente durch eine konstante und affine Darstellung modellieren und so eine Reduzierung der Variablen ermöglichen. Zum anderen durch pixelbasierte Methoden, die durch eine zuvor berechnete Segmentierung an den Kanten unterstützt werden.

The calculation of the optical flow is one of the central problems in computer vision. Here, a vector field between two consecutive images of an image sequence is to be found, which can be interpreted as the movement of objects. Often this problem is described by mathematical models, so-called variational methods. These require the minimization of a cost funtional which punishes deviations of the established model assumptions. Typically, this is performed by a pixel-based method. In recent years, however, the integration of segment information has shown promising results. The aim of this work is to perform the calculation of the optical flow in several segment-based methods. The pixels of the images are therefor combined by a mean shift segmentation, resulting in a better definition of the objects. Here, two different approaches were followed. Firstly, switching to segment-based methods that model the movement of entire segments by a constant and affine representation, thus allowing a reduction in variables. Secondly, by pixel-based methods that are supported by a previously computed segmentation at the edges.