Sensorbasierte Kompensierung von Eingabelatenzen auf Touchscreens

Abstract

Touchscreens sind eine weit verbreitete Schnittstelle zwischen Mensch und Computer, vor allem bei mobilen Geräten. Ein Nachteil gegenüber anderen Eingabemethoden stellt allerdings die Latenz zwischen einer Toucheingabe und der darauf zugeschnittenen, visuellen Reaktion dar, welche oft in deutlich spürbaren Bereichen liegt. Latenzen verschlechtern nachweislich die Performanz und Benutzererfahrung der Anwender. Aus diesem Grund haben sich viele vorangegangene Arbeiten bereits mit der Reduzierung solcher Latenzen beschäftigt, was auch Gegenstand dieser Arbeit ist. Ein vorheriger Ansatz verwendete eine Extrapolation von Fingerbewegungen, um mit Hilfe von künstlichen, trainierten, neuronalen Netzen Toucheingaben zur Latenzkompensation vorherzusagen. Aufbauend auf dem teilweisen Erfolg der erwähnten Arbeit, wurde diese Idee im vorliegenden Ansatz aufgegriffen und mit Hilfe von inertialen Messeinheiten (IMUs) eines eigens entwickelten, hochfrequenten Sensorprototyps verbessert. Die entstandenen, auf Touchtrajektorien und IMU-Daten trainierten, neuronalen Netze konnten Genauigkeitsverbesserungen bei Vorhersagen von bis zu 30% gegenüber IMU-losen Netzen aufweisen. Des Weiteren konnte mit diesen Netzen der Durchsatz von Nutzern um 15% bei Fingereingaben und um 17% bei Stifteingaben gesteigert werden, wenn die Anwender eine IMU an der Hand trugen.

Touchscreens are a common interface between humans and computers, especially in mobile devices. However, a disadvantage compared to other input methods is the latency between a touch input and the visual response to this, which often lies in clearly perceptible areas. Latencies are proven to deteriorate the performance and user experience of users. For this reason, a wide range of previous work has already dealt with the reduction of such latencies, which is also the subject of this work. A previous approach used an extrapolation of finger movements to predict its future position for latency compensation using artificial, trained, neural networks. Based on their partial success, this idea was taken up in the present approach and improved with the aid of inertial measuring units (IMUs) of a custom, high-frequency sensor prototype. The resulting neural networks trained on touch trajectories and IMU data have been able to improve the accuracy of predictions of up to 30% against IMU-free networks. In addition, the networks enabled users to increase their throughput by 15% for finger inputs and 17% for pen inputs when users were wearing an IMU on their hand.