Diffusion-based refinement of optical flow

Abstract

Estimating the optical flow of an image sequence is a major challenge in computer vision. Optical flow is a vector field that provides information about the apparent motion, for example of objects, edges or surfaces, within a visual scene. The recently introduced Recurrent All-Pairs Field Transforms (RAFT) by Teed and Deng [TD20] achieved significant improvements over prior methods on popular benchmarks. However, this method reduces each image dimension to an eighth at the beginning of the calculations and scales the resulting flow back to the original size afterwards. This upscaling leads to a visible structural error. We investigate this error and present various approaches to reduce it using adapted diffusion methods. The peculiarity of our approach is that we consider only the resulting optical flow and not the underlying image data. In the process, a framework was developed to examine and diffuse vector-valued images such as optical flow. In addition, we present advanced methods for blocking artifact detection. All methods are tested and evaluated on a common sample data set. The regular structure of the error of the RAFT method could be exploited to slightly reduce the average error of the method.

Die Schätzung des optischen Flusses einer Bildsequenz ist eine große Herausforderung in der Computer Vision. Der optische Fluss ist ein Vektorfeld, das Informationen über die scheinbare Bewegung, z. B. von Objekten, Kanten oder Flächen, innerhalb einer visuellen Szene liefert. Die kürzlich vorgestellte Methode „Recurrent All-Pairs Field Transforms“ (RAFT) von Teed und Deng [TD20] erzielte bei gängigen Benchmarks deutliche Verbesserungen gegenüber früheren Methoden. Allerdings reduziert diese Methode jede Bilddimension zu Beginn der Berechnungen auf ein Achtel und skaliert den resultierenden optischen Fluss anschließend wieder auf die ursprüngliche Größe. Dieses Hochskalieren führt zu einem sichtbaren strukturellen Fehler. Wir untersuchen diesen Fehler und stellen verschiedene Ansätze vor, ihn durch adaptierte Diffusionsverfahren zu reduzieren. Die Besonderheit unseres Ansatzes ist, dass wir nur den resultierenden optischen Fluss und nicht die zugrunde liegenden Bilddaten betrachten. Dabei wurde ein Framework entwickelt, um vektorwertige Bilder wie den optischen Fluss zu untersuchen und zu glätten. Darüber hinaus stellen wir verbesserte Methoden zur Erkennung von Blockartefakten vor. Alle Methoden werden an einem gemeinsamen Beispieldatensatz erprobt und evaluiert. Die regelmäßige Struktur des Fehlers der RAFT-Methode konnte ausgenutzt werden, um den durchschnittlichen Fehler der Methode geringfügig zu reduzieren.