Zwischenbildinterpolation mit optischem Fluss

Abstract

Die Erzeugung von Zwischenbildern in Bildfolgen ist eines der klassischen Probleme in der Videoverarbeitung. Viele Lösungsansätze dafür arbeiten häufig mit der Information der Bewegung im Bild, um scharfe und realistische Ergebnisse zu erzeugen. Eine Möglichkeit für die verwendete Bewegungsinformation stellt ein sogenannter optischer Fluss dar, der eine pixelweise Schätzung der Bewegung zwischen zwei aufeinanderfolgenden Bildern beschreibt. Verwendet werden kann ein optischer Fluss in sogenannten Vorwärts- und Rückwärtswarpingstrategien, bei denen entlang der Bewegungstrajektorie eine lineare Interpolation stattfindet. Bei diesen sich teils sehr ähnelnden Strategien ist aber meist nicht klar, welche Variante in der Praxis die besten Ergebnisse erzeugt. Diese Arbeit bündelt daher vieler solcher Ansätze und führt einen einheitlichen Vergleich durch. Zuerst wird das sogenannte (Image-) Warping als Grundtechnik für die spätere Zwischenbildinterpolation vorgestellt, inklusive damit verbundenen Techniken für das Sampling und Splatting von Bildinformationen. Es wird dabei außerdem ein Verfahren für das Füllen von Lücken in Bildern (Inpainting) beschrieben, das eine zentrale Rolle für die spätere Zwischenbildinterpolation besitzt. Mithilfe der Grundtechniken werden im Anschluss eine Reihe von Bildinterpolationsverfahren schrittweise und aufbauend eingeführt, wobei sich immer an der Anzahl von verwendeten Bildern und optischen Flüssen orientiert wird (1-Bild Fall, 2-Bild Fall und bidirektionale Verfahren). In einer abschließenden Evaluation werden die Bildinterpolationsverfahren qualitativ und quantitativ miteinander verglichen. Dies geschieht anhand von Benchmarkdaten für optische Flüsse, bei denen ausgelassene Bilder als Referenzbild dienen. Als Bewertung der erzeugten Zwischenbilder dienen klassische Fehlermaße aus der Literatur und ein ergänzender visueller Eindruck. Ziel der Evaluation ist die Verifizierung der Überlegungen hinter den Verfahren und die Prüfung wie gut sie in der Praxis funktionieren.