A feature-level analysis of the adversarial robustness of RAFT

Abstract

Neural networks are ubiquitous in many areas of computer vision, and have gained popularity in the field of optical flow estimation in recent years. While they manage to outperform classical methods in terms of accuracy, they are also known to be vulnerable to adversarial attacks. Since optical flow estimation is a critical component of many computer vision applications, some of which are safety-critical, such as autonomous driving, it is crucial that the vulnerabilities of the methods used are well understood. Further, a modular robustness understanding of a network’s components can help with identifying and fixing vulnerabilities in other networks as well. In this thesis, we perform a robustness analysis of the components of RAFT, a state-of-the-art network for flow estimation, under two different kinds of attacks: The perturbation-constrained flow attack (PCFA), which adds a global perturbation to the whole input image, and an attack based on realistic snow particles, which are added to a three-dimensional scene and then projected onto the input images. We identify different sets of components vulnerable to each attack, and provide some presumptions about the reasons for their vulnerability. Neuronale Netze sind allgegenwärtig in vielen Bereichen der Computer Vision, und haben in den letzten Jahren bei der Bestimmungen des Optischen Flusses an Beliebtheit gewonnen. Ihre Genauigkeit übertrifft die von klassischen Methoden, allerdings sind sie auch anfällig gegenüber sogenannter "adversarial attacks". Da die Bestimmung des optischen Flusses bei vielen Anwendungen der Computer Vision wie dem autonomen Fahren von entscheidender Bedeutung ist, ist ein gutes Verständnis der Schwachstellen der verwendeten Methoden entscheidend. Zusätzlich kann ein modulares Verständnis der Robustheit einzelnen Komponenten eines Netzwerks dabei helfen, auch in anderen Netzwerken Schwachstellen zu identifizieren und zu beheben. In dieser Arbeit führen wir eine Robustheitsanalyse der Komponenten von RAFT, einem state-of-the-art Netzwerk zur Bestimmung des optischen Flusses, unter zwei verschiedenen Arten von Angriffen durch: Der "perturbation-constrained flow attack" (PCFA), bei welcher die Eingabebilder mit einer globalen Störung versehen, welche das gesamte Bild verändert, und einem Angriff welcher auf realistischen Schneepartikeln basiert, welche in eine drei-dimensionale Szene eingefügt, und dann auf die Eingabebilder projiziert werden. Wir identifizieren verschiedene Komponenten, welche gegen die jeweiligen Angriffe Schwächen aufweisen, und geben Vermutungen über die Gründe für diese Schwächen an.