Please use this identifier to cite or link to this item: http://dx.doi.org/10.18419/opus-12677
Authors: Schäfer, Noel
Title: Visual Analytics für Visual-Reasoning-Aufgaben
Other Titles: Visual analytics for visual reasoning tasks
Issue Date: 2022
metadata.ubs.publikation.typ: Abschlussarbeit (Master)
metadata.ubs.publikation.seiten: 97
URI: http://nbn-resolving.de/urn:nbn:de:bsz:93-opus-ds-126969
http://elib.uni-stuttgart.de/handle/11682/12696
http://dx.doi.org/10.18419/opus-12677
Abstract: Das Ziel dieser Arbeit ist die Entwicklung einer explorativen Analysesoftware für Anwendungen im Bereich Visual Question Answering (VQA), einer Problemformulierung des Forschungsfeldes Deep Learning. Sie soll dabei helfen, fehlerhafte Ausgaben eines gegebenen VQA-Systems zu identifizieren, nachzuvollziehen und zu korrigieren. In vorangegangener Literatur finden sich viele vergleichbare Lösungen zu verwandten Anwendungsfällen, die die undurchsichtigen Entscheidungsprozesse neuronaler Netze und ähnlicher Systeme visuell und durch Einsatz interaktiver Elemente zugänglich machen. Die Anwendung soll daher insbesondere drei Anforderungen erfüllen. Zum einen soll es möglich sein, dem zugrundeliegenden System in Echtzeit beliebige Fragen zu verschiedenen Bildern zu stellen. Ferner sollen die Daten rund um eine solche Instanz visualisiert werden. Dazu zählen neben einer interaktiven Darstellung der Informationen, die das System über die Bildinhalte hat, auch solche Elemente, die Einblicke in die internen Entscheidungsprozesse des Systems beim Generieren einer Antwort gewähren. Schlussendlich soll es möglich sein, die Ground Truth auf Grundlage der gewonnenen Erkenntnisse zu bearbeiten, um die Performance des Systems nachträglich zu verbessern. Die entwickelte Anwendung wird in einer qualitativen Nutzerstudie evaluiert, bei der sich zeigt, dass Laien die Anwendung nach einer kurzen Einführung bereits einsetzen können, um typische fehlerhafte Instanzen gezielt zu korrigieren.
Subject of this thesis is the development of an exploratory analysis software for uses in Visual Question Answering (VQA), a task in the Deep Learning research field. It aims to help identify, comprehend and fix erroneous output of a given VQA system. Previous literature contains many relevant solutions to similar use cases that implement visual and interactive elements to address the opaque nature of the underlying systems and make them more accessible. The application should therefore meet three requirements in particular. First, it should be possible to pose arbitrary questions about the contents of various images to the underlying system in real time. Second, the data involved with any one such instance must be visualized. This includes an interactive presentation of the information on the contents of a given image available to the system, as well as elements that provide insight into the internal decision-making process of the system when generating a prediction. Third, in order to subsequently improve the performance of the system, it must be possible to edit the ground truth based on the insights gained previously. The finished product is evaluated in a qualitative user study which reveals that after a short introduction to the interface, laymen are able to utilize the application to steer the system deliberately and correct erroneous instances.
Appears in Collections:05 Fakultät Informatik, Elektrotechnik und Informationstechnik

Files in This Item:
File Description SizeFormat 
Schäfer_Noel.pdf16,06 MBAdobe PDFView/Open


Items in OPUS are protected by copyright, with all rights reserved, unless otherwise indicated.