Applying machine learning techniques for improving test input generation in embedded fuzzers

Abstract

In der sich ständig weiterentwickelnden Landschaft des Internet der Dinge wächst die Anzahl an verknüpften Geräten exponentiell. Dieses Wachstum geht einher mit einem steigenden Bedarf, die Sicherheit und Kontinuität solcher Geräte sicherzustellen, da sie häufig in kritischen Anwendungsbereichen verwendet werden. Ähnlich zu weiteren Gebieten der Softwareentwicklung, ist das automatisierte Testen von eingebetteten Systemen, namentlich Fuzzing, ein vielversprechender Ansatz, um die Qualität solcher Geräte sicherzustellen, während die Zeit und der Aufwand, die für das Testen nötig sind, reduziert werden. Jedoch machen es die einzigartigen Charakteristika eingebetteter Systeme, so wie limitierte Ressourcen und das Fehlen standartisierter Betriebssysteme, schwer, bestehende Testmethoden auf diese anzuwenden. Diese Bachelorarbeit beabsichtigt es, den aktuellen Stand des Fuzzings eingebetteter Systeme zu verstehen und erforscht Möglichkeiten, wie dieser Prozess unter Zuhilfenahme von Machine Learning augmentiert werden kann, um die Phase der Eingabengenerierung während des Fuzz Testens zu verbessern. Um dies zu erreichen, führten wir zu Beginn eine Literaturanalyse durch, um den aktuellen Stand der Technik des Fuzzings eingebetteter Systeme zu verstehen, während derer wir Unterschiede zu traditionellem Fuzzing hervorhoben. Weiterhin führten wir eine ausführliche Analyse durch, um bestehende Machine Learning Ansätze sowohl im traditionellen, als auch im eingebetteten Fuzzing zu bewerten. Schlussendlich schlagen wir, unter Zuhilfenahme der erarbeiteten Information, einen Machine Learning basierten Ansatz vor, mit dem die Phase der Eingabengenerierung während des Fuzzing Prozesses eingebetteter Systeme verbessert werden kann. Unsere Ergebnisse zeigen, dass Machine Learning für das Fuzzing von eingebetteten Systemen verwendet werden kann, dass dies aber signifikante manuelle Arbeit erfordert. Weiterhin zeigen wir, dass der aktuelle Stand der öffentlich verfügbaren Methoden noch nicht reif genug ist, um generalisiert verwendet zu werden.

In the rapidly evolving landscape of the Internet of Things (IoT), the number of connected devices is growing exponentially. This growth is accompanied by an increasing demand to ensure the security and continuity of such devices, as they are often used in critical applications. Similar to other areas of software engineering, automated testing of embedded devices, namely fuzzing, is a promising approach to ensure the quality of such devices, while reducing the time and effort required for testing. However, the unique characteristics of embedded devices, such as limited resources and the lack of a standardized operating system, make it difficult to apply existing testing approaches to them. This thesis aims to understand the current state of the art of the fuzzing of embedded devices and researches possibilities to augment this process with the help of machine learning, to improve the input generation stage during fuzz testing. To this end, we first conduct a literature review to identify the current state of the art of fuzzing embedded devices, highlighting differences to traditional desktop fuzzing. We then conduct an in depth review to evaluate existing machine learning approaches to traditional, as well as embedded fuzzing. Finally, using the information gathered, we propose a machine learning-based approach to augment the input generation stage during the fuzzing process of embedded devices. Our results show that machine learning can be introduced to fuzzing of embedded devices, but it requires significant manual effort to do so. Furthermore, we show that the current state of the art of publicly available methods is not yet mature enough to be used in general practice.