Developing SurfaceSliding - a new interaction for smartphones

Abstract

Motivated by previous work and the fact that about half of the users tend to place their phone on the table while being at home or at the office, we developed a new interaction method for smartphones which enables the interaction with the smartphone without actually picking it up. Instead, our new interaction method, called SurfaceSliding, focuses on the interaction through physically sliding the smartphone on the table. Investigating the suitability of the inertial sensors from nowadays smartphones in order to track the sliding movements at first, we eventually decided to implement an optical flow based solution using the images captured by the phone’s front camera. After implementing one use case within our system, we conducted a comparable user study for investigating the usability and efficiency of SurfaceSliding when comparing it to a more traditional input method like tapping. Although our results showed higher task completion times and higher error rates when using SurfaceSliding, our participants shared the opinion of having SurfaceSliding as an additional alternate input method for mobile devices.

Basierend auf früheren Arbeiten und der Tatsache, dass etwa die Hälfte der Nutzer dazu neigen ihr Smartphone auf den Tisch zu legen, während sie sich zuhause oder im Büro befinden, haben wir uns dazu entschlossen eine neue Interaktionsmethode zu entwickeln, die es dem Nutzer erlaubt mit dem Smartphone zu interagieren ohne es dabei vom Tisch aufnehmen zu müssen. Stattdessen erfolgt die Interaktion, genannt SurfaceSliding, durch das physikalische Schieben des Smartphones über den Tisch. Nachdem wir die Trägheitssensoren von heutigen Smartphones in Hinblick auf ihre Brauchbarkeit für das Erfassen der Schiebebewegungen untersucht haben, entschieden wir uns letztendlich dafür, unsere Lösung auf einen optischen Fluss Algorithmus zu basieren, der mithilfe der Bilder der Frontkamera des Smartphones arbeitet. Am Ende unserer Arbeit implementierten wir einen Anwendungsfall in unser System und führten daraufhin eine Nutzerstudie durch, die die Brauchbarkeit und Effizienz von SurfaceSliding im Vergleich zu einer mehr konventionellen Interaktionsmethode untersucht. Obwohl unsere Ergebnisse zeigten, dass Leute beim Benutzen von SurfaceSliding mehr Zeit benötigten als auch mehr Fehler machten, teilten sie die Meinung, dass sie in SurfaceSliding eine zusätzliche Alternative sehen um mit Mobilgeräten zu interagieren.