Benutzerinteraktion in Augmented Reality mittels Eyetracking

Abstract

Augmented Reality ermöglicht es, eine Schnittstelle zwischen der virtuellen Welt und der realen Welt zu schaffen. Neben einfachen Smartphones, die Augmented Reality unterstützen, gibt es auch Head Mounted Displays (HMD), mit dessen Hilfe der Benutzer virtuelle Objekte in der realen Welt sehen und mit ihnen interagieren kann. Für die Interaktion sind, sowohl Armbewegungen als auch kurze Kopfbewegungen notwendig, die vom Anwender bei längerem Gebrauch als sehr ermüdend und anstrengend empfunden werden können. Ein mögliches Beispiel für diesen Anwendungsfall wäre die Durchführung von langen Texteingaben. Hier müsste der Benutzer mit dem Kopf jeden einzelnen Buchstaben anvisieren und ihn mit einer Handgeste auswählen. Ziel dieser Arbeit ist es, einen Prototyp zu entwickeln, der die Interaktion mit virtuellen Objekten durch das Blickverhalten des Benutzers in Kombination mit einem externen Gerät ersetzt. Dies soll zu einer benutzerfreundlicheren Interaktion beitragen. Zu diesem Zweck wird die Microsoft Hololens verwendet, in der ein externer binokularer Eyetracker eingebaut ist, der von Pupil Labs speziell für die Microsoft Hololens entwickelt wurde. In einer Anwenderstudie wird der entwickelte Prototyp mit vier verschiedenen Interaktionsmethoden getestet. Abschließend werden die Ergebnisse der Studie ausgewertet und diskutiert.

Augmented Reality makes it possible to create an interface between the virtual world and the real world. In addition to simple smartphones that support Augmented Reality, there are also Head Mounted Displays (HMD) that allow users to see and interact with virtual objects in the real world. For the interaction, however, both arm movements and short head movements are necessary, which can be perceived as very tiring and strenuous by the user during longer use. A possible example of this usecase would be the performance of long text inputs. Here the user would have to aim at every single letter with his head and select it with a hand gesture. The aim of this work is to develop a prototype that replaces the interaction with virtual objects with the user’s gaze behaviour in combination with an external device. This should contribute to a more user friendly interaction. For this purpose the Microsoft Hololens is used, in which an external binocular eye tracker is built in, which was developed by Pupil Labs especially for the Microsoft Hololens. In a user study the developed prototype will be tested with four different interaction methods. Finally, the results of the study will be evaluated and discussed.