Examining methodologies to explain autonomous cyber defence agents in critical networks

Abstract

Networks worldwide are facing increasing pressure from cyberattacks. For cybersecurity, Reinforcement Learning (RL) agents have demonstrated promising potential, enhancing network resilience and fortifying cybersecurity posture. However, particularly in critical scenarios, it is imperative to ensure the dependability of RL agents to foster operator trust. Therefore, this thesis explores and discusses Explainable Artificial Intelligence (XAI) methodologies for Multi Agent Reinforcement Learning (MARL) defending cyber-critical networks. These XAI mechanisms were implemented using Shapley values and decision trees. Furthermore,a novel hybrid approach was developed combining a Large Language Model (LLM), neuro-symbolic outputs, and Shapley values. Afterwards, the MARL was explained via the three XAI implementations. Moreover, experts in the field of RL for cyber security investigated the trained MARL; the expert knowledge was contrasted with the XAI explanations. From the XAI and expert insights, a strategy improving the MARL was proposed, employing imitation learning to reinforce the significance of underrepresented features in the agents’ outputs. Lastly, the presented XAI tools were critically assessed within the framework of a structured discussion methodology. The XAI tools demonstrate promising potential in explaining MARL, illustrated by the improvements in the agents’ feature relevance achieved through imitation learning. However, existing XAI frameworks may require adaptation to MARL, and XAI methodology advantages and constraints must be considered for their utilization. Moreover, we developed a novel XAI technique to generate natural language explanations for MARL systems with symbolic output spaces. Consequentially, we demonstrated that the presented XAI components provide valuable assets in the development process of reliable, trustworthy MARL delivering insights to enhance agents defending cyber critical network infrastructure.

Netzwerke weltweit sehen sich einem zunehmenden Druck durch Cyberangriffe ausgesetzt. In dem Bereich der Cybersicherheit haben RL Agenten Potenzial gezeigt in der Verbesserung von Netzwerkresilienz. Besonders in solch kritischen Szenarien ist es jedoch unerlässlich, die Zuverlässigkeit dieser Systeme sicherzustellen, um das Vertrauen der Benutzer zu fördern. Daher behandelt und illustriert diese Arbeit den Einsatz von XAI für MARL zum Schutz von cyberkritischen Netzwerken. Die XAI Mechanismen wurden implementiert unter Verwendung von Shapley-Werten und Entscheidungsbäumen. Zusätzlich wurde ein neuer hybriden Ansatz entwickelt, der ein LLM, neuro-symbolische Ausgaben und Shapley-Werte kombiniert. Anschließend wurden MARL-Systeme mit Hilfe der drei XAI-Implementierungen erklärt. Darüber hinaus untersuchten Experten im Bereich RL für Cybersicherheit ein trainiertes MARL-System; das Expertenwissen wurde mit den XAI-Erklärungen verglichen. Auf Grundlage der Erkenntnisse aus den XAI-Analysen und dem Expertenfeedback wurde eine Strategie zur Verbesserung des MARL vorgeschlagen. Diese Strategie nutzt Imitationslernen, um die Bedeutung unterrepräsentierter Merkmale in den Ausgaben der Agenten zu stärken. Abschließend wurden die vorgestellten XAI-Werkzeuge im Rahmen einer strukturierten Diskussionsmethodik kritisch bewertet. Die XAI-Komponenten zeigen vielversprechendes Potenzial bei der Erklärung von MARL, was durch die erzielten Verbesserungen der Agenten mittels Imitationslernen belegt wird. Dennoch können bestehende XAI-Frameworks Anpassungen an die spezifischen Anforderungen von MARL erfordern, und die Vor- sowie Nachteile der XAI-Methoden sollten berücksichtigt werden. Darüber hinaus wurde eine neuartige XAI-Technik entwickelt, um natürliche Sprache für Erklärungen von MARL-Systemen mit symbolischen Ausgabebereichen zu nutzen. Folglich konnte demonstriert werden, dass die vorgestellten XAI-Komponenten wertvolle Werkzeuge im Entwicklungsprozess zuverlässiger und vertrauenswürdiger MARL darstellen, indem sie Erkenntnisse liefern, die Agenten zur Verteidigung cyberkritischer Netzwerkinfrastrukturen verbessern können.