Neue Methoden und Techniken für die Evaluation von Visualisierungen

Abstract

Visualisierungen umgeben uns wie selbstverständlich im Alltag und bei der Arbeit, um abstrakte Informationen darzustellen und komplexe Zusammenhänge zu verstehen. Lag bisher das Hauptaugenmerk der Entwicklung von Visualisierungstechniken auf der Frage, wie möglichst viele Daten in möglichst kurzer Zeit, in einer möglichst hohen Auflösung dargestellt werden können, so gewann in der Visualisierungsforschung in den letzten Jahren die Fragestellung an Bedeutung, ob eine Visualisierung auch nützlich und leicht lesbar ist.

Um diese Fragestellung umfassend beantworten zu können, war das Ziel dieser Arbeit die Entwicklung von neuen Methoden und Techniken zur Untersuchung der Wahrnehmung von Visualisierungen, sowie zur Evaluation von Visualisierungstechniken. Dazu wurde ein interdisziplinärer Ansatz gewählt, der die drei wissenschaftlichen Forschungsgebiete Eye-Tracking, Wissensrepräsentation und Kognitionswissenschaften miteinander verbindet. Eye-Tracking-Experimente wurden für die Analyse des Blickverhaltens bei der Arbeit mit Visualisierungen eingesetzt. Die Repräsentation visuellen Wissens erlaubt es, semantische Eigenschaften von Scan-Paths untersuchen zu können. Simulationsmethoden aus den Kognitionswissenschaften ermöglichen es, das Blickverhalten vorherzusagen.

Eye-Tracking-Experimente werden in der Visualisierungsforschung dazu eingesetzt, um Augenbewegungen von Probanden, welche Aufgaben mit Visualisierungen durchführen, aufzunehmen. Ein nicht zu unterschätzender Zeitaufwand bei der Auswertung dieser Art von Experimenten nimmt die anschließende Analyse der Augenbewegungen ein. Um den Aufwand der Analyse dieser Scan-Paths zu reduzieren und ähnliche Augenbewegungsmuster über die Probanden hinweg zu identifizieren, wurde die parallele Scan-Path-Visualisierungstechnik entwickelt, die eine übersichtliche Darstellung von mehreren Scan-Paths erlaubt. Damit können Lesestrategien von Visualisierungen über mehrere Probanden hinweg erkannt und miteinander verglichen werden. Die parallele Scan-Path-Visualisierung wurde zusätzlich mit automatischen Mustererkennungsverfahren erweitert. Dieser sogenannten visuelle Analytik-Ansatz erlaubt es, Scan-Paths quantitativ miteinander zu vergleichen und führt zu einer effizienten Analyse von sehr großen Eye-Tracking-Datensätzen.

Für die Modellierung von Wissen über Visualisierungen wurde ein Wissensmodell mit drei Ebenen entwickelt. Jede Ebene beschreibt in Form einer Ontologie eine unterschiedliche Abstraktionsebene des Wissens über Visualisierungen und die darin enthaltenen graphischen Elemente. Elemente aus diesen Ontologien werden mit bestimmten Bereichen in einer Visualisierung oder mit einzelnen graphischen Elementen in Visualisierungen verknüpft. Dieser Ansatz ermöglicht es nicht nur wie bisher zu analysieren, welche Bereiche in einer Visualisierung auf einem Bildschirm in welcher Reihenfolge betrachtet worden sind (WO-Raum), sondern auch, was für graphische Elemente dort wahrgenommen (WAS-Raum) und wie diese kognitiv weiterverarbeitet wurden. Es wird gezeigt, wie mit der parallelen Scan-Path-Visualisierungstechnik, basierend auf dieser Annotation, Wissensverarbeitungsprozesse visualisiert werden können. Damit können auch Bereiche in Visualisierungen, die möglicherweise zu einer kognitiven Verzerrung führen, erkannt und im Detail weiter untersucht werden.

Für die Simulation der visuellen Suche wurde eine auf dem Kognitionssimulationsframework ACT-R basierende Simulation entwickelt, die Leseprozesse in Visualisierungen simuliert, und es erlaubt, diese mit empirisch ermittelten Daten zu vergleichen. Zusätzlich stellt diese Arbeit erstmalig ein operatorenbasiertes Modell zur Vorhersage von Durchführungszeiten von visuellen Aufgaben vor. Dieses operatorenbasierte Diagram-Viewing-Modell verwendet das Konzept des aus der Mensch-Computer-Interaktionsforschung bekannten Keystroke-Level-Modells und erweitert es für die Vorhersage von Durchführungszeiten von visuellen Aufgaben.

Neben einer Effizienzsteigerung bei der Auswertung von Eye-Tracking-Experimenten führt die Kombination der visuellen Analyse von Scan-Paths mit ontologiebasierten Wissensmodellen zu einem tieferen Verständnis der Leseprozesse von Visualisierungen. Semantische Charakteristika von Scan-Paths können besser untersucht werden und die Wahrscheinlichkeit für kognitive Verzerrungen bei der Arbeit mit Visualisierungen durch eine geeignete Anpassung des Visualisierungskonzepts verringert werden. Insgesamt können die in dieser Arbeit vorgestellten Methoden und Techniken zu einem stärker benutzerorientierten, iterativen Entwicklungsprozess von Visualisierungen führen. In diesem Entwicklungsprozess können Ergebnisse der Eye-Tracking-Analyse oder Ergebnisse aus Simulationen dazu eingesetzt werden, um zu untersuchen, wie Visualisierungen von verschiedenen Benutzergruppen wahrgenommen werden.

Visualizations have become a part of our daily life and a state of the art tool at work to analyze abstract data quickly or to understand complex correlations. In the past, one of the goals of visualization research was to show as many possible data points very quickly on high resolution screens. However, during the last years the question of having a visualization technique whichis useful and easy to read became important.

This work introduces new methods and techniques for the analysis of the perception of visualizations and for the evaluation of visualizations. Therefore, an interdisciplinary approach was chosen combining three scientific research fields eye tracking, knowledge representation and cognitive science. Eye tracking is used to record and analyze gaze behavior in visualization evaluation experiments. Knowledge representation of visual knowledge is used to study semantic characteristics of readings strategies of visualizations. And, cognition simulations predict gaze behavior of participants in evaluation experiments.

Eye tracking is one of the state of the art techniques in visualization research for recording gaze behavior of participants who have to perform given tasks with visualizations. A not to be underestimated share of time is required for the analysis of the recorded eye movements. The first contribution of this work is a new visualization technique, the so called Parallel Scan-Path Visualization Technique, which allows the analyzer to quickly find interesting eye movement patterns in large eye tracking data sets. Additionally, reading strategies of individual participants or groups of participants can visually be compared with each other. The Parallel Scan-Path Visualization Technique also serves as the visualization component in a new visual analytics approach for the analysis of eye tracking data. Thereby, the analyst is supported by automatic pattern recognition algorithms. This new approach leads to quantitative comparable results during the scan-path comparison process and to a more efficient analysis of large eye movement data sets.

A knowledge model with three levels was developed to describe knowledge about visualizations. Every level of the model represents visual knowledge in a different abstraction in a separate ontology. Elements of every level of this knowledge model are linked to certain areas in visualizations and to graphical elements shown in these areas. Besides analyzing where participants have focused on in visualizations (WHERE space), this approach also allows us to study what they have focused on (WHAT space).

This work shows how this approach can be used in combination with the Parallel Scan-Path Visualization Technique to visually study cognitive processes. Thereby, areas in visualizations can be identified which could possibly lead to a cognitive bias. In order to simulate gaze behavior, this thesis contributes a cognition simulation based on the ACT-R framework. With this cognition simulation, reading strategies of visualizations can be simulated and results of these simulations can be compared with empirical collected data. Additionally, this thesis contributes a first operator-based model for predicting visual task completion times. This so called Diagram Viewing Model uses the Keystroke-Level Model approach from Human-Computer Interaction research for the computation of visual task completion times. However, the evaluation of this approach shows that there are strong limitations relating to this first model in simulating gaze behavior.

The combination of a visualization-based analysis of scan-paths and an ontology-based knowledge model leads to a deeper understanding of reading processes of visualizations. Semantic characteristics of scan-paths better can be analyzed and the probability for a cognitive bias during working with visualizations can be reduced. In summary, the methods and techniques presented in this thesis lead to a more user-centric, iterative design process of visualizations. In this design process both results from eye tracking experiments and simulations can efficiently be used to better understand the perception of visualizations.