Visuelle Analyse von kognitiven Prozessen

Abstract

In dieser Arbeit wird ein Konzept entwickelt, mit dem durch die visuelle Analyse von Abfolgen von Areas of Interest (AOIs), unter Ausnutzung der Eye–Mind–Hypothese, kognitive Prozesse sichtbar gemacht werden. Durch die Analyse der kognitiven Prozesse soll die Gewinnung einer Lesevorschrift für einen Visualisierungstyp ermöglicht werden. Eine Lesevorschrift dient als Eingabe für eine Augenbewegungs–Simulation. Das Konzept sieht vor, eine für eine bestimmte Aufgabe gültige Lesevorschrift für einen Visualisierungstyp aus Eye–Tracking–Daten mehrerer Probanden abzuleiten. Die Eye–Tracking–Daten werden auf verschiedenen Stimuli des Visualisierungstyps während der Lösung der Aufgabe erfasst. Das Konzept sieht ein mehrstufiges Vorgehen zur Ableitung der Lesevorschrift vor. In einem ersten Schritt werden die Stimuli mit AOIs annotiert. Im nächsten Schritt werden für jeden der Stimuli die Abfolgen der AOIs der Probanden analysiert. Daraufhin wird für jeden der Stimuli eine Abfolge von AOIs bestimmt, die die Lösungsstrategie repräsentiert, die die meisten Probanden zur Lösung der Aufgabe auf dem Stimulus wählten. Aus diesen Abfolgen wird im Anschluss diejenige ausgewählt, die die Lösungsstrategie repräsentiert, die trotz der Verschiedenheit der Stimuli eine Lösungsstrategie für beliebige Stimuli des Visualisierungstyps darstellt. Zur Bestimmung der repräsentativen Lösungsstrategien wird ein Visualisierungs– und Analysekonzept entwickelt, das mit einem automatischen, einem halbautomatischen und einem manuellen Verfahren arbeitet. Die Verfahren werden durch Algorithmen zur Ähnlichkeitsbestimmung von Lösungsstrategien und zur Mustersuche in Lösungsstrategien unterstützt. Die wichtigsten Teile des Konzepts wurden prototypisch implementiert und die Funktionsweise anhand zweier Szenarien demonstriert.

This work presents a concept which uses the visual analysis of sequences of Areas of Interest (AOIs) to make cognitive processes visible by exploiting the eye-mind-hypothesis. Through analyzing cognitive processes it should be made possible to obtain a reading instruction for a visualization type. A reading instruction is used as input to an eye movement simulation. The concept enables the derivation of a reading instruction valid for a specific task for a visualization type from eye tracking data of multiple participants. The eye tracking data is recorded for different stimuli of the visualization type. The concept is a multi-phase approach. In a first step, the stimuli are annotated with AOIs. In the next step, the sequences of the AOIs of the participants have to be analyzed for each of the stimuli. This analysis results in a sequence of AOIs for each of the stimuli, which represents the solution strategy that most of the participants have chosen to solve the task. From these sequences the one is selected which represents the solution strategy. This solution can be seen as a solution strategy for arbitrary stimuli of the same visualization type. To determine the representative solution strategies a visualization and analysis concept has been developed which works with an automatic, a semi-automatic and a manual method. The methods are supported by algorithms for similarity computation of solution strategies and pattern matching in solution strategies. The most important parts of the concept have been prototypically implemented. The application of the prototype is demonstrated in two scenarios.