Exploring interaction modalities for immersive analytics and situated visualization

Abstract

Although setups of immersive environments offer a vast quantity of interaction options, the typically used input devices lack the capability to perform complex interactions, such as creating text for programming, in a reliable, efficient, and mobile fashion. As a result, developers who wish to create applications for immersive environments in domains like immersive analytics (IA) and situated visualization (SV) that feature complex interactions are forced to find workarounds to this problem, such as using a mobility constricting classical keyboard, inhibiting their design possibilities. I replaced classical keyboards with an alternative – wearable keyboards, defining a domain-specific configuration for programming by creating a framework to map the inputs of wearable keyboard to the outputs required to easily create syntax of the programming language. This solution enables users to perform this type of complex interaction while moving about without being forced to visually or at least spatially register position of the classical keyboards input options.

Obwohl es eine große Vielfalt an Interaktionsmöglichkeiten für immersive Anwendungen gibt, fehlt den üblicherweise genutzten Eingabegeräten die Fähigkeit komplexe Interaktionen – wie etwa das Erstellen von Text zum Programmieren – auf zuverlässige, effiziente und mobile Weise zu verrichten. Als Folge sind die Designmöglichkeiten von Entwicklern, in immersiven Domänen mit potenziell komplexen Interaktionen wie „Immersive Analytics“ (IA) und „Situated Visualization“ (SV), eingeschränkt. Beispielsweise müssten sie dann auf die klassische, bewegungseinschränkende Tastatur ausweichen. Ich habe die klassische Tastatur mit einer Alternative – einer tragbaren Tastatur ersetzt. Diesbezüglich habe ich für eine Domänen-spezifische Programmiersprache ein Framework implementiert, welches die Eingaben der tragbaren Tastatur zu benötigten Ausgaben wandelt, um einfach die Syntax der Programmiersprache zu erstellen. Diese Lösung ermöglicht es Nutzern diese Art der komplexen Interaktion zu vollführen und sich währenddessen zu bewegen ohne auf die Position der Eingabemöglichkeiten der klassischen Tastatur optisch oder zumindest räumlich angewiesen zu sein.