Attacking a defended optical flow network

Abstract

Neurale Netwerke zur Bestimmung des Optischen Flusses erreichen Bestleistungen bei Experimenten mit publizierten Datensätzen. Allerdings betonten erfolgreiche und praktische Manipulationsangriffe auf die Eingabebilder in der Vergangenheit, sowie das Fehlen von Robustheitsabschätzungen für publizierte Netzwerke, die Relevanz von weiteren Untersuchungen zur Verlässlichkeit von diesen Netzwerken. Diese sind außerdem eine wichtige Voraussetzung für die Nutzung dieser Algorithmen in sicherheitskritischen Anwendungen. Die Eignung von Local Pre-processing Verteidigungen zum Schutz dieser Netzwerke gegen Adversarial Patch Angriffe wurde kürzlich untersucht und eine speziell auf Netzwerke zur Bestimmung des Optischen Flusses angepasste Verteidigung entwickelt. Allerdings wurde die Robustheit der resultierenden Systeme nicht gegen adaptive Angriffe evaluiert, die Informationen über die Verteidigungen ausnutzen. Außerdem beschränken sich bisherige Ergebnisse zu adaptiven Angriffen vorwiegend auf Netzwerke zur Bildklassifikation. Diese Arbeit entwickelt adaptive Adversarial Patch Angriffe gegen die Pre-processing Verteidigungen Inpainting with Laplacian Prior (ILP) und Local Gradients Smoothing (LGS) im Kontext der Bestimmung des Optischen Flusses mit dem Netzwerk FlowNetC. Unsere Experimente deuten darauf hin, dass unsere adaptiven white-box Angriffe die bisherigen Robustheitsabschätzungen der Verteidigungen signifikant korrigieren. Weitere Beiträge dieser Arbeit sind die Implementierung einer flexiblen Pipeline zum Trainieren von Adversarial Patches sowie die Reimplementierung der Inpainting with Laplacian Prior Verteidigung nach der Beschreibung in der Veröffentlichung.

Deep Neural Networks for optical flow estimation achieve exceeding performances on published datasets. However successful and practically applicable patch attacks in the past and the lack of robustness guarantees for published networks demonstrate the importance to further study their resilience against manipulated inputs. The recent desire to deploy optical flow networks in security-critical applications like autonomous driving or robot navigation further amplifies this problem. Recently, the suitability of localized pre-processing defenses against adversarial patch attacks for optical flow networks was examined and a specialized defense was proposed. However an extensive robustness assessment of the defended systems using adaptive attacks was missing. Furthermore results about adaptive attacks on defended networks are currently rather restricted to classification networks. In this thesis we devise adaptive adversarial patch attacks against the optical flow network FlowNetC when it is defended by the specialized defenses Inpainting with Laplacian Prior~(ILP) and Local Gradients Smoothing~(LGS). We provide empirical evidence that our adaptive white-box attacks increase the efficiency of injected patches significantly compared to the attacks considered in their initial evaluation. Our attacks introduce serious distortions in the flow field estimation of defended networks. Additional contributions are the implementation of a flexible training pipeline and the reimplementation of the Inpainting with Laplacian Prior defense according to its description in the original publication.