Human-AI collaboration for immersive analysis of spatiotemporal ensemble data

Abstract

Many simulations and experiments produce large amounts of spatiotemporal data, for example consisting of sets of two-dimensional positional recordings over a long time interval. The high dimensionality of the data, together with its complex time-dependent behaviors, greatly limits the possibilities of manual analysis using traditional tooling. This thesis presents a novel approach to the visual analysis of spatiotemporal ensemble data by combining an immersive and intuitive virtual reality (VR) interface with interactive machine learning elements. By defining queries for specific spatiotemporal patterns, users are able to arrange the entire ensemble in a three-dimensional workspace based on the similarity between members, while individual members and their temporal behavior can be examined in detail using an intuitive three-dimensional visualization utilizing space-time cubes. Through a small-scale user study, the workflow and VR implementation have been tested on their usability, together with a comparison between different interaction techniques in terms of task efficiency and user experience. Results show that even users with little VR experience responded positively to the three-dimensional interactions and intuitive data exploration, while also achieving high ratings in immersion and engagement, despite an initial learning curve and some visual clarity issues. Bei vielen Simulationen und Experimenten fallen große Mengen an raum-zeitlichen Daten an, die zum Beispiel aus zweidimensionalen Positionsaufzeichnungen über einen langen Zeitraum bestehen. Die hohe Dimensionalität der Daten und ihr komplexes zeitabhängiges Verhalten schränken die Möglichkeiten der manuellen Analyse mit herkömmlichen Werkzeugen stark ein. In dieser Arbeit wird ein neuartiger Ansatz für die visuelle Analyse von raum-zeitlichen Ensemble-Daten vorgestellt, der eine immersive und intuitive Virtual-Reality-Schnittstelle (VR) mit interaktiven Elementen des maschinellen Lernens kombiniert. Durch die Definition von Abfragen nach bestimmten raum-zeitlichen Mustern können Benutzer das gesamte Ensemble in einem dreidimensionalen Arbeitsbereich auf der Grundlage der Ähnlichkeit zwischen den Mitgliedern anordnen, während einzelne Mitglieder und ihr zeitliches Verhalten mit Hilfe einer intuitiven dreidimensionalen Visualisierung unter Verwendung von Raum-Zeit-Würfeln im Detail untersucht werden können. In einer kleinen Nutzerstudie wurden der Arbeitsablauf und die VR-Implementierung auf ihre Benutzerfreundlichkeit hin getestet und verschiedene Interaktionstechniken im Hinblick auf Aufgabeneffizienz und Benutzererfahrung miteinander verglichen. Die Ergebnisse zeigen, dass selbst Nutzer mit wenig VR-Erfahrung positiv auf die dreidimensionalen Interaktionen und die intuitive Datenexploration reagierten und trotz einer anfänglichen Lernkurve und einiger Probleme mit der visuellen Klarheit hohe Bewertungen in Bezug auf Immersion und Engagement erzielten.