Supporting cross-reality transfer of virtual objects in hybrid desktop and augmented reality environments

Abstract

Cross-reality hybrid interfaces are a research field with renewed interest that studies the usage of multiple systems alongside each other for the potential enhancement of well-established workflows. In particular, hybrid interfaces or hybrid systems that offer a connected usage of augmented reality (AR) together with a desktop are of special interest. With this kind of hybrid setup, 3D objects can be inspected and manipulated using traditional mouse and keyboard input or real 3D input by using, e.g., by using mid-air gestures. Transitioning 3D objects between the desktop and the immersive environment allows the user to use the best-fitting input method in the appropriate environment. This thesis investigates interaction destinations for object transitions in a hybrid interface and attempts to identify the main factors for intuitive transition techniques. Therefore, an experimental evaluation in the form of a controlled user study of a subset of chosen transition techniques was conducted. Participants (N = 14) were given different six possible implementations for object transitions in a hybrid interface, and then recorded their personal preferences on usability and workload. Participants were also asked about their willingness to work with hybrid interfaces on a daily basis and personal use cases. Tasks were given requiring the usage of both interfaces to match objects to given requirements. Participants were tested on completion speed and correctness of these tasks. The study results suggest that the main factors to consider for transition techniques are predictability, immediacy of access, and user definition of the resulting location. Realitätsübergreifende hybride Schnittstellen sind ein Forschungsfeld, mit erneutem Interesse, das die Verwendung von mehreren Systemen nebeneinander für die potenzielle Verbesserung etablierter Arbeitsabläufe verwendet. Insbesondere hybride Schnittstellen oder hybride Systeme, die eine vernetzte Nutzung von Augmented Reality (AR) Geräten zusammen mit einem Desktop Computer erlauben, sind von besonderem Interesse. Bei dieser Art von hybridem Aufbau können 3D-Objekte mit herkömmlicher Maus- und Tastatureingabe oder echter 3D-Eingabe inspiziert und beeinflusst werden z.B. durch die Verwendung von Gesten in der Luft. Verschieben von 3D-Objekten zwischen dem Desktop und der immersiven Umgebung ermöglicht es dem Benutzer, die am besten geeignete Eingabemethode für die entsprechenden Aufgaben zu wählen. In dieser Arbeit werden Interaktionen für Objektübergänge in einem hybriden System untersucht und versucht, die Hauptfaktoren für intuitive Übergangstechniken zu identifizieren. Dafür wurde eine experimentelle Evaluation in Form einer kontrollierten Nutzerstudie einer Teilmenge der gewählten Übergangstechniken durchgeführt. Den Teilnehmern (N = 14) wurden sechs mögliche Implementierungen für Objektübergänge in einem hybriden System vorgestellt und ihre persönlichen Präferenzen zur Benutzerfreundlichkeit und Arbeitsbelastung erfasst. Die Teilnehmer wurden auch nach ihrer Bereitschaft gefragt, mit hybriden Schnittstellen auf täglicher Basis und für persönliche Anwendungsfälle zu arbeiten. Es wurden Aufgaben gestellt, die die Verwendung beider Schnittstellen erforderten, um Objekte mit gegebenen Anforderungen abzugleichen. Die Teilnehmer wurden anhand der Geschwindigkeit und Korrektheit dieser Aufgaben getested. Die Studienergebnisse deuten darauf hin, dass die wichtigsten Faktoren, die bei Übergangstechniken zu berücksichtigen sind, Vorhersagbarkeit, Unmittelbarkeit des Zugriffs und Benutzerdefinition des resultierenden Standorts sind.