System-Theoretic Process Analysis for AI-Based Systems

Abstract

Durch die fortschreitenden Technologien wird künstliche Intelligenz in immer mehr Bereichen eingesetzt. Dabei rücken auch sicherheitskritische Bereiche immer mehr in den Vordergrund. Um die Sicherheit in diesen Bereichen zu gewährleisten, müssen Sicherheitsanalysen durchgeführt werden. In dieser Masterarbeit wird hierfür STPA (System Theoretic Process Analysis) genutzt. Die Fallstudie, auf die STPA angewendet werden soll, muss sicherheitskritische KI-Teile enthalten und Open-Source zur Verfügung stehen. Dabei fiel die Entscheidung auf das Start-up Comma AI und im Speziellen ihre über Github frei zugängliche Open-Source-Software Openpilot. Nach der Durchführung der STPA-Analyse von Openpilot wurde festgestellt, dass vor allem die Charakteristik des neuronalen Netzes, da es sich hierbei um eine Blackbox handelt, schwierig in Loss Scenarios abbildbar ist. So ist vor allem Verhalten, dass sich über Zeit ändert und nicht direkt zu einem Loss Scenario führt, problematisch. Um diese Problematik anzugehen, wurden erste Lösungsansätze diskutiert. Zunächst wurden dazu die bereits vorhandenen Standards zur funktionalen Sicherheit (ISO 26262, ISO 21448) im Automotive Bereich betrachtet und eine Kombination von ihnen mit STPA, da die Standards ebenfalls noch nicht auf ki-basierte Systeme ausgelegt sind. Anschließend wird vorgestellt, wie aus den STPA Bestandteilen ein Monitoringsystem aufgebaut werden kann, um die Entscheidungen der neuronalen Netze, falls sie unsichere Control-Actions liefern sollten, in sichere zu überführen. Als dritte Möglichkeit wurde ein Blackbox Assessment anhand von Openpilot aufgezeigt. Diese Ansätze können in zukünftigen Arbeiten evaluiert werden, um deren Verwendbarkeit zu zeigen.