Quantitative Evaluation visueller Erklärungsverfahren für Convolutional Neural Networks

Abstract

Neueste Entwicklungen im Bereich Maschinelles Lernen (ML) leisten einen wichtigen Beitrag zur Weiterentwicklung der Künstlichen Intelligenz. ML-Modelle erzielen bei Bildklassifizierung, Text-, Sprach- und Objekterkennung beachtliche Leistungen, jedoch sind insbesondere Neuronale Netze in ihrer Entscheidungsfindung intransparent und wirken auf Nutzer wie Experten als Black Box. Da die Erklärbarkeit, sowohl für den breiteren Einsatz, als auch für die Weiterentwicklung dieser Technologie einen wichtigen Eckstein darstellt, entstand das Forschungsgebiet Explainable Artificial Intelligence (XAI). XAI hat sich zum Ziel gesetzt Künstliche Intelligenz erklärbar zu machen und brachte verschiedene Methoden hervor um Erklärungmodelle für ML-Anwendungen bereitzustellen. Die nachfolgende Arbeit konzentriert sich auf ML-Modelle zur Bildklassifizierung mittels statischer Bilddatensätze, dem Einsatz einer Reihe dafür entwickelter Explainermodelle, sowie deren Bewertung mittels Metriken. Geeignete Metriken zur Bewertung von Explainermodellen zu finden ist von Bedeutung, da Metriken es erlauben Explainermodelle automatisch, objektiv und unter Einsatz größerer Datenbanken zu bewerten und untereinander zu vergleichen. Mit geeigneten Metriken erscheint es möglich eine Auswahl zu treffen, wann welche Explainermodelle gewinnbringend eingesetzt werden können. Ausgewählte, zielführend eingesetzte Explainer ermöglichen wiederum ein besseres Verständnis der Funktionsweise der ML-Modelle und bieten auch Unterstützung bei der Weiterentwicklung bzw. Designwahl der ML-Modelle. Mit der vorliegenden Untersuchung konnte gezeigt werden, dass eine von drei der ausgewählten Metriken sehr gute Ergebnisse bei der Bewertung der gewählten Explainermodelle, abhängig von unterschiedlichen Datensätzen und ML-Modellen erzielt. Es konnte dargestellt werden, dass drei der vier Explainer in ihrer Performanz eng beieinanderliegen, obwohl die verwendeten Modellarchitekturen und Datensätze sehr unterschiedlich sind. Die zwei weiteren Metriken lassen Aussagen zu Grundtendenzen zu oder zeigen die gewünschten Resultate in einem eingeschränkten Kontext. Um signifikantere Aussagen von diesen Metriken zu erhalten, müssen diese weiterentwickelt werden oder unter Berücksichtigung der Einschränkungen die Nutzung der Metriken abgewägt werden.