Motion-compensated frame interpolation using multiple frames

Abstract

Das aktuell gestiegene Interesse an der Erhöhung der Bildrate von existierenden Videos, um die Informationen mit langsamer glatter Bewegung anzuzeigen, hat zur Nachfrage nach qualitativen Bildinterpolationsansätzen geführt, die räumlich und zeitlich kohärente Zwischenbilder erzeugen. Herkömmliche Methoden verwenden meistens nur zwei benachbarte Frames, um die Bewegungsbahnen linear zu schätzen, und bewältigen in der Regel die Herausforderungen wie Okklusion und nichtlineare Bewegung nicht. In dieser Arbeit stellen wir grundlegende Konzepte für die bewegungsbasierte Bildinterpolation einschließlich optischen Flusses, Warping, Splatting und Inpainting vor und präsentieren eine Erweiterung der linearen Forward und Forward Forward Warping, die eine beliebige Anzahl von Frames verwendet, um die Bewegungstrajektorien polynomisch anzunähern. Wir untersuchen die Schwierigkeiten bei der Verwendung optischer Flüsse über weiter entfernte Frames und vergleichen die Verwendung sequenziell gewarpten optischer Flüsse mit den direkten Varianten. Der leistungsstärkste Ansatz dieser Arbeit heißt quadratisches Forward Forward Warping, approximiert Vorwärts- und Rückwärtsbewegungsbahnen als Parabeln, benutzt drei Frames für jede Richtung, erfordert vier Frames insgesamt und nutzt eine Modifikation, die speziell für die Reduktion der Warping-Artefakte entwickelt wurde. Dieser Ansatz erzielt bessere Ergebnisse als die linearen Methoden auf der Version vom Sintel Datensatz mit höherer Bildrate und beweist, dass die Nutzung zusätzlicher zeitlicher Informationen für Bildinterpolation von Vorteil ist. Die Verwendung von mehr als drei Frames ist jedoch nicht vorteilhaft und führt zu einer abnehmenden Leistung.

Recent surge of interest towards increasing frame rate of existing videos to display the information with slow smooth motion has led to the demand for qualitative frame interpolation approaches that create spatially and temporally coherent intermediate frames. Traditional methods usually use only two adjacent frames to estimate the motion trajectories linearly, generally failing to overcome challenges like occlusion and non-linear motion. In this thesis, we introduce basic concepts regarding motion-compensated frame interpolation including optical flow, warping, splatting and inpainting and present an extension of linear forward and forward forward warping that uses arbitrary number of frames to approximate the motion trajectories in a polynomial way. We explore the difficulties of using optical flows over more distant frames and compare the use of sequentially warped optical flows with the direct variants. The best performing approach of this work named quadratic forward forward warping approximates forward and backward motion trajectories as parabolas, using three frames for every direction and requiring four frames in total, and utilizes a modification designed specifically to reduce warping artifacts. It achieves better results than the linear approaches on the high frame rate version of Sintel dataset proving that leveraging additional temporal information benefits frame interpolation. The use of more than three frames, however, is not beneficial and leads to decreasing performance.