RAFT-based cost volume analysis for rectified stereo

Abstract

Das Stereokorrespondenzproblem ist ein wichtiges Thema im Bereich Computer Vision. Bei diesem Problem wird in einem Stereobildpaar die Verschiebung (Disparität) von Pixelpaaren gesucht, die den gleichen Punkt in einer Szene zeigen. Aus diesem Versatz kann die 3D-Position der aufgenommenen Objekte rekonstruiert werden. Basierend auf dem Recurrent All-Pairs Field Transform (RAFT), einer Deep Learning Methode, die sehr gute Ergebnisse beim optischen Fluss erzielt, wird eine Methode für die Stereokorrespondenz entwickelt. Dafür wird ein Korrelationsvolumen entwickelt, das die Einschränkungen der Epipolargeometrie für Stereobilder berücksichtigt. Für dieses Korrelationsvolumen werden verschiedene Lookup-Strategien getestet. Ein Lookup mit einem statischen Bereich um das Pixel, an dem die Disparität gesucht wird, kann nicht das volle Potenzial der iterativen Aktualisierungen von RAFT ausnutzen. Durch ein Lookup um die geschätzte Position des konjugierten Pixels kann dieses Problem behoben werden. In einem Test mit den Sintel, KITTI 2012 und KITTI 2015 Stereodatensätzen liefert das Stereokorrelationsvolumen mit dieser Lookup-Methode Verbesserungen im durchschnittlichen Endpunktfehler und im D1-Fehler gegenüber dem originalen RAFT Korrelationsvolumen.