A global adversarial attack on scene flow

Abstract

Im Bereich Computer Vision haben sich tiefe neuronale Netze als Lösung für komplexe Probleme bewährt. Die Rekonstruktion von Tiefeninformation aus Stereo-Bildern und die Schätzung des optischen Flusses aus Bildsequenzen wird am genauesten von Methoden, welche auf tiefem maschinellem Lernen basieren gelöst. Die Erweiterung des optischen Flusses auf drei räumliche Dimensionen wird Scene Flow genannt. Tiefe neuronale Netze für die Schätzung von Scene Flow übertreffen die Genauigkeit klassischer Methoden, welche auf Minimierung von Energie Funktionen basieren. Die Anwendung von neuronalen Netzen für die Schätzung von Scene Flow in sicherheitskritischen Bereichen wie autonomes Fahren oder roboter-assistierter Chirurgie erfordert eine gründliche Evaluation dieser Systeme. Die Manipulation der Ausgabeschicht von Neuronalen Netzwerken mithilfe von Adversarial Attacks wurde zunächst für Objekt-Klassifizierungsnetzwerke entdeckt. Das Ziel von Adversarial Attacks ist den Eingabe-Bildern minimale Störungen hinzuzufügen, welche letztendlich zu fehlerhaften Ausgaben führen. Aktuelle Forschungsergebnisse konnten zeigen, dass moderne Netzwerke zur Schätzung des optischen Flusses oder der Tiefenrekonstruktion eine geringe Robustheit gegen Adversarial Attacks aufweisen. In dieser Thesis wird ein Framework entwickelt, welches eine gezielte beschränkte globale Adversarial Attack (GSFA) auf neuronale Netze zur Scene Flow Schätzung ermöglicht. Mehrere verschiedene Arten von Attacken, welche Störungen auf bestimmte Eingaben oder an verschiedenen Stellen der Vearbeitung hinzufügen, werden eingeführt. Diese Arten von Adversarial Attacks werden angewendet um die Ausgaben des modernen Scene Flow Netzwerks RAFT-3D zu manipulieren. Die Auswirkungen von GSFA auf die Genaugikeit der Scene Flow Schätzung und die Größe der Störung der Eingabebilder wird mit RAFT-3D und zwei Scene Flow Benchmark Datensätzen überprüft. Die Ergebnisse vielseitiger Experimente beweisen, dass RAFT-3D dieselben Schwächen gegen Adversarial Attacks aufzeigt, wie Netzwerke zur Tiefenrekonstruktion oder zur Schätzung des optischen Flusses. Einschränkungen der Größe der Störungen sind effektiv darin die Störungen der Eingabebilder im nicht wahrnehmbaren oder kaum wahrnehmbaren Bereich zu halten, während die Ausgabe sich dem definierten Ziel des Zero Scene Flow annähert.

In the field of computer vision deep neural networks are proven and tested solutions for complex problems. Depth reconstruction from stereo images and estimation of optical flow from image sequences is solved most accurate by deep learning based methods. The extension of optical flow to three spatial dimensions is called scene flow. Deep neural networks for scene flow estimation outperform classical energy functional minimisation methods. The application of neural network solutions for scene flow estimation in security-critical applications such as autonomous driving or robot-assisted surgery calls for an in-depth evaluation of these systems. The manipulation of network outputs with adversarial attacks was first uncovered for object classification networks. Adversarial attacks aim at introducing imperceptible perturbations to input images to cause erroneous network outputs. Recent research could reveal the low adversarial robustness of state-of-the-art stereo matching and optical flow neural network solutions. In this thesis a framework to generate a targeted constrained global adversarial attack on scene flow neural networks (GSFA) is developed. Multiple different attack types which add perturbations to specific types of inputs or at different stages of the networks processing pipeline are introduced. The attack types are applied to the state-of-the-art scene flow estimation network RAFT-3D. The effects of GSFA regarding scene flow estimation accuracy and perturbation size of inputs is analysed using RAFT-3D and two scene flow benchmark datasets. The results of various experiments proof that RAFT-3D shows the same vulnerabilities to adversarial attacks as optical flow and stereo matching networks. Constraints on perturbation sizes effectively keep perturbations imperceptible or hardly perceptible, while scene flow estimations approach a defined zero scene flow target.