Modell Metadatasheets für Transparenz und Verantwortbarkeit

Abstract

Fehlerhafte Machine Learning Modelle sind leider keine Seltenheit. Häufig schleichen sich Fehler in der Entwicklung des Modells ein, die sich auf die Qualität der Ergebnisse auswirken können. Da Machine Learning Modelle auch häufig Auswirkungen auf Menschen haben können, werden diese ebenfalls durch die Fehler negativ beeinflusst. Verantwortbare Machine Learning Modelle können diese Problematik verringern. Diesen Modellen sind im Idealfall Daten beigelegt, die Menschen über die Vorgänge während der Entwicklung des Modells aufklären. Auch Kontaktinformationen, zu den am Modell beteiligten Personen, sind vorhanden. Durch solche Modelldokumentationen sind die Ersteller des Modells gezwungen, alle Vorgänge und Entscheidungen, die sie bezüglich des Modells treffen, zu rechtfertigen. Dies impliziert zudem ein gewissenhafteres Arbeiten und damit weniger Fehler. Falls sich dennoch Fehler einschleichen, ermöglicht diese Dokumentation, die für die Fehler verantwortlichen Personen schnell zu identifizieren und zur Rechenschaft zu ziehen. In dieser Bachelorarbeit wird das Konzept der Model Metadatasheets vorgestellt, da Modelldokumentationen in dieser Art noch nicht existieren. Hierbei handelt es sich um ein Metadatenblatt, welches Daten über den gesamten Lebenszyklus von Machine Learning Modellen bereitstellt, die für verantwortbare Modelle relevant sind. Um das Ziel dieser Arbeit zu erreichen, werden vier Ansätze zur Modelldokumentation untersucht sowie gezeigt, warum sie für verantwortliche Machine Learning Modelle nicht ausreichend sind. Zudem wird ein Model Metadatasheet konstruiert und geprüft, inwiefern es den Verantwortbarkeitsaspekt erfüllt. Anschließend wird das Model Metadatasheet mit den vier Ansätzen verglichen. Dadurch wird hervorgehoben, welche Informationen dieses im Gegensatz zu den weiteren Ansätzen enthält.