Browsing by Author "Schäfer, Noel"

Now showing 1 - 2 of 2

Open Access
Visual Analytics für Visual-Reasoning-Aufgaben
(2022) Schäfer, Noel
Das Ziel dieser Arbeit ist die Entwicklung einer explorativen Analysesoftware für Anwendungen im Bereich Visual Question Answering (VQA), einer Problemformulierung des Forschungsfeldes Deep Learning. Sie soll dabei helfen, fehlerhafte Ausgaben eines gegebenen VQA-Systems zu identifizieren, nachzuvollziehen und zu korrigieren. In vorangegangener Literatur finden sich viele vergleichbare Lösungen zu verwandten Anwendungsfällen, die die undurchsichtigen Entscheidungsprozesse neuronaler Netze und ähnlicher Systeme visuell und durch Einsatz interaktiver Elemente zugänglich machen. Die Anwendung soll daher insbesondere drei Anforderungen erfüllen. Zum einen soll es möglich sein, dem zugrundeliegenden System in Echtzeit beliebige Fragen zu verschiedenen Bildern zu stellen. Ferner sollen die Daten rund um eine solche Instanz visualisiert werden. Dazu zählen neben einer interaktiven Darstellung der Informationen, die das System über die Bildinhalte hat, auch solche Elemente, die Einblicke in die internen Entscheidungsprozesse des Systems beim Generieren einer Antwort gewähren. Schlussendlich soll es möglich sein, die Ground Truth auf Grundlage der gewonnenen Erkenntnisse zu bearbeiten, um die Performance des Systems nachträglich zu verbessern. Die entwickelte Anwendung wird in einer qualitativen Nutzerstudie evaluiert, bei der sich zeigt, dass Laien die Anwendung nach einer kurzen Einführung bereits einsetzen können, um typische fehlerhafte Instanzen gezielt zu korrigieren.
Open Access
Visuelle Eye-Tracking-Analyse bei kooperativen Spielszenarien
(2019) Schäfer, Noel
Gegenstand dieser Arbeit ist die Entwicklung eines Werkzeuges zur Unterstützung der Analyse kooperativer und kompetitiver Spielszenarien zwischen mehreren Spielern hinsichtlich ihres Blickverhaltens. Im Vorfeld wurden bei diversen Partien einer virtuellen Version des chinesischen Brettspiels "`Go"' zwei Kontrahenten per Eye-Tracking erfasst und das Spielfeld aufgezeichnet. Den Zweck des entwickelten Programmes bildet eine Zusammenführung der Datensätze unterschiedlicher Eye-Tracking-Geräte, die die Erzeugung eines Synchronisations-, Filterungs- und Transformationsverfahrens der Rohdaten sowie eine kombinierte visuelle Darstellung dieser auf der Bildschirmaufzeichnung des gespielten Szenarios umfasst. Abschließend kommt das entwickelte Werkzeug bei einer Analyse der aufgezeichneten Go-Partien zum Einsatz, bei der der Fokus insbesondere auf dem Beleuchten der Unterschiede in der visuellen Wahrnehmung verschiedener Szenarien zwischen den Spielern liegt und welche Erkenntnisse daraus hinsichtlich ihres Spielverhaltens gewonnen werden können. Dabei zeigt das Programm, dass ein Proband allgemein intensiver bestimmte Punkte des Spielfeldes fixiert, während der andere gleichmäßiger das ganze Feld betrachtet. Auch scheint der aggressivere Spieler häufiger die Steine des Gegners im Blick zu haben, während der passivere Spieler mehr dazu geneigt ist, auf Räume zwischen den eigenen Steinen zu achten.