Space-time gaze visualization in AR

Abstract

More and more research is focused on analyzing gaze data to gain new insights into the cognitive processes of individuals. While earlier works conducted statistical analysis onto the recorded eye-movement data, recent research focuses on qualitative analysis based on visualization techniques. Our work introduces a visualization tool, which provides an overview of spatio-temporal gaze data recorded over space and time using a Microsoft HoloLens 2. We collected gaze data, by conducting a pilot study, in which the participants were instructed to walk in a room and look at different images placed on the wall. Based on the acquired data, we generated a space-time-cube (STC), visualizing the movement paths as well as the gaze distribution of the individual participants. We linked the STC visualization with a 3D gaze replay that shows a photogrammetry mesh of the room in which we conducted our study. The gaze replay can be used to view the behavior of the individual participants in space at different points in time. We imitate the participants' position and gaze directions in the gaze replay by visualizing a sphere for each participant. The spheres are placed in the correct position in the photogrammetry mesh according to the time point under consideration. The gaze direction is visualized by a ray that starts at the position of the sphere and ends at the gaze point of the respective participant at the respective time. To enable a broader exploration of the gaze data, we included interactive features into our visualization tool. These interactive features include toggles to load or unload the data of the participants, switches to enable different visualizations like heatmaps or scanpaths, a timeline slider to scroll through the time and many more. A case study is presented at the end of this thesis to demonstrate the different functionalities of our tool.

Immer mehr Forschungsarbeiten konzentrieren sich auf die Analyse von Blickdaten, um neue Erkenntnisse über die kognitiven Prozesse von Menschen zu gewinnen. Während frühere Arbeiten statistische Analysen mit den aufgezeichneten Blickdaten durchgeführt haben, konzentrieren sich neuere Forschungen darauf, qualitative Analysen mithilfe von Visualisierungstechniken durchzuführen. Unsere Arbeit stellt ein Visualisierungstool vor, das einen Überblick über den räumlichen und zeitlichen Verlauf von Blickdaten bietet, die mit einer Microsoft HoloLens 2 aufgezeichnet wurden. Um Blickdaten zu sammeln, haben wir eine Pilotstudie durchgeführt, in der die Teilnehmer dazu angewiesen wurden, durch einen Raum zu laufen und auf verschiedene Bilder an der Wand zu schauen. Anhand der gewonnenen Daten haben wir einen space-time-cube (STC) erstellt, der die Bewegungspfade sowie die Blickverteilung der einzelnen Teilnehmer visualisiert. Wir haben die STC-Visualisierung mit einem 3D Gaze Replay verknüpft, in welchem sich ein Fotogrammetrie Mesh des Raums, in dem wir unsere Studie durchgeführt haben, befindet. Das Gaze Replay kann verwendet werden, um das Verhalten der einzelnen Teilnehmer im Raum zu verschiedenen Zeitpunkten zu betrachten. Wir imitieren die Position und Blickrichtung der Teilnehmer im gaze replay, indem wir für jeden Teilnehmer eine Kugel visualisieren. Die Kugeln werden entsprechend dem betrachteten Zeitpunkt an der richtigen Stelle im Fotogrammetrie Mesh platziert. Die Blickrichtung wird durch einen Strahl visualisiert, der an der Position der Kugel beginnt und an dem Blickpunkt des jeweiligen Teilnehmers zum jeweiligen Zeitpunkt endet. Um eine umfassendere Untersuchung der Blickdaten zu ermöglichen, haben wir interaktive Funktionen in unser Visualisierungstool integriert. Zu diesen interaktiven Funktionen gehören Toggles, um die Daten der Teilnehmer zu laden oder zu entladen, Schalter, um verschiedene Visualisierungen wie Heatmaps oder Scanpaths zu aktivieren, ein Schieberegler, um durch die Zeit zu scrollen und weitere Features. Eine Fallstudie wird am Ende dieser Arbeit vorgestellt, um die verschiedenen Funktionen unseres Tools zu demonstrieren.