Modeling distant pointing for compensating systematic displacements

Abstract

People use gestures to give verbal communication more expression and also to replace the speech. One of the most concise and expressive gestures is the pointing gesture. Pointing gesture can be observed in the early childhood. In these early years, it is used to point at objects or people. Later, people use pointing gestures even for more complex things such as to visualize directions. Increasing pointing gestures are also used for interacting with computers. For example, gestures can be used to remotely interact with a display, without using an input tool. In this work we investigated how people point to objects and how the recognition accuracy can be improved by using a gesture recognition system. We performed a user study, where participants had to point on projected pointing targets. These gestures were recorded as reference data with the help of motion capture system. We used a variety of starting positions in which the study was carried out. For this the participants were placed with a distance of 2 to 3 meters to the pointing targets. At these two positions the participants had to sit and stand while pointing to the targets. From the recorded reference data we derived a pointing vector. Each vector describes the direction in which the gesture is directed. We generate these vectors out of different body parts. This is done to show that there are different ways to create these vectors but they behave all the same. In the optimal case, this vector would describe the path of the person pointing to the object, in this case, the projected point. By mathematical analyzes we show that in average over several experiments and over several participants a systematic deviation from this optimal vector can be detected. We specify models, which can compensate the systematic deviation. These models shift the pointing vector in the direction of the average distance between optimum and average study vector. Products of the consumer market can be used to detect pointing gestures. There gestures can be improved with the generated models. The focus here is, for example, products like the Kinect.

Menschen nutzen Gesten, um mündlicher Kommunikation mehr Ausdruck zu verleihen oder auch zu ersetzen. Eine der prägnantesten und ausdruckstärksten Gesten ist die Zeigegeste. Diese lässt sich schon in jungen Jahren bei Kindern beobachten. In diesen jungen Jahren wird sie verwendet, um auf Gegenstände oder Personen zu deuten. Später nutzen Menschen Zeigegesten auch für komplexere Dinge wie z.B. um Wegbeschreibungen zu visualisieren. Zunehmenden werden Zeigegesten auch für die Interaktion mit Computern verwendet. Beispielsweise werden Zeigegesten verwendet, um aus der Ferne eine Interaktion mit einem Display zu realisieren, ohne ein Eingabegerät zu benutzen. In dieser Arbeit wird untersucht wie Menschen auf Objekte zeigen und wie die Erkennungsgenauigkeit durch ein interaktives System verbessert werden kann. In einer Benutzerstudie, in der Probanden auf projizierte Punkte zeigen mussten, wurden Referenzdaten aufgezeichnet. Damit präzise Daten aufgezeichnet wurden, kam ein Motion-Capture-System zum Einsatz. Eine Vielfalt von Ausgangspositionen wurde erzeugen, in dem die Studie mit einem Abstand von 2 und 3 Metern zu den Zielpunkten durchgeführt wurde. Von diesen zwei Positionen mussten die Teilnehmer im Sitzen und im Stehen auf die Punkte zeigen. Aus den aufgezeichneten Referenzdaten werden Mengen von Vektor abgeleitet. Jeder Vektor beschreibt die Richtung in welche die Geste gerichtet ist. Die Vektormengen werden jeweils aus der Ausrichtung unterschiedlicher Gliedmaßen abgeleitet. Dies geschieht, um zu zeigen, dass es verschiedene Möglichkeiten gibt, diese Vektoren zu erstellen, sich jedoch alle gleich verhalten. Im optimalen Fall würde dieser Vektor den Weg von der zeigenden Person zum Objekt, in diesem Fall dem projizierten Punkt, beschreiben. Durch mathematische Analysen wird jedoch gezeigt, dass auch im Durchschnitt über mehrere Versuche und mehrere Versuchsteilnehmer eine systematische Abweichung von diesem optimalen Vektor nachgewiesen werden kann. Es werden Modelle angegeben, welche die nachgewiesene systematische Abweichung kompensieren können. Diese Kompensation verschiebt den Zeigevektor um die mittlere nachgewiesene Distanz zwischen optimalem und gezeigtem Vektor. Produkte des Konsumermarkt können benutzten werden um Zeigegesten zu erkennen, diese können mit den erzeugten Modellen verbessert werden. Im Fokus hierbei stehen beispielsweise Produkte wie die Kinect.