Institut für Visualisierung und Interaktive Systeme Universität Stuttgart Pfaffenwaldring 5a D–70569 Stuttgart Diplomarbeit Nr. 3607 Taktiles Feedback mittels Luft zur multimodalen Interaktion Ralf Pramberger Studiengang: Informatik Prüfer/in: Jun.-Prof. Dr. Niels Henze Betreuer/in: Dipl.-Inf. Bastian Pfleging Stefan Schneegaß M. Sc. Beginn am: 08.01.2014 Beendet am: 10.07.2014 CR-Nummer: H.5.2 Kurzfassung Die Ausgabe von taktilem Feedback bietet viele Möglichkeiten, um die Interaktion zwischen Men- schen und Computern zu verbessern. Durch den technologischen Fortschritt im Bereich der Freihand- Interaktion können Eingaben getätigt werden, ohne den Körperkontakt zu Eingabegeräten voraus- zusetzen. Das ermöglicht eine Vielzahl von neuen Interaktionsmethoden ohne Einschränkung der Bewegungsfreiheit der Benutzer. Die Ausgabe von taktilem Feedback ist dabei herausfordernd, da viele Systeme, entgegen der Grundidee der kontaktlosen Interaktion, durch die Ausgabegeräte neue Berührungspunkte herstellen oder die Bewegungsfreiheit einschränken. Die gezielte Ausgabe von Luftstößen auf die Hand von Benutzern ist eine Möglichkeit die Freihand-Interaktion und taktiles Feedback zu vereinen. In dieser Diplomarbeit werden existierende Arbeiten über taktiles Feedback und Luft-Feedback analysiert. Dazu werden die technischen Eigenschaften und Limitierungen von Druckluft untersucht und auf dieser Basis ein Luftstoß-Ausgabeprototyp erstellt. Mit diesem Prototyp werden die Möglichkeiten zur Informationscodierung durch die Luftausgabe der Freiheitsgrade Dauer, Frequenz und Muster getestet. Die daraus gezogenen Erkenntnisse helfen den Design-Space von Luft-taktilem Feedback näher zu beschreiben. Im zweiten Teil der Arbeit wird ein prototypisches System zur Luft-taktilen Ausgabe bei der Interaktion mit Freihandgesten vorgestellt und anhand einer Benutzerstudie evaluiert. In der Benutzerstudie wird getestet inwiefern das Zielen und Treffen durch Luftausgaben verbessert werden kann. Die Ergebnisse zeigen, dass die Luftausgabe Potential besitzt als taktile Ausgabemodalität eingesetzt zu werden. 3 Abstract The output of tactile feedback offers many ways to improve the interaction between humans and computers. Due to the technological progress in the area of free-air interaction, inputs can be done without physical contact to input devices. This allows a variety of new interaction methods, without limiting the freedom of movement for the user. The output of tactile feedback is challenging because many systems, contrary to the basic idea of the non-contact interaction, establish new points of contact or restrict the freedom of user movement. The specific issue of air-jets on the users hands is one way to unite free-air interaction and tactile feedback. In this thesis we analyzed existing work on tactile feedback and air-feedback. Furthermore, we examined the characteristics of compressed air and technical solutions to be able to build an air-jet based output prototype. Based on this prototype we conducted a user study to research the possibilities to encode messages with air-jet tactile outputs for the parameters frequency, duration and spacial patterns. With these results it is possible, to get a better understanding of the design-space of air-tactile feedback. For the second part of this work, we propose a protypical implementation of an air tactile enhanced free-air interaction system and present the evaluation based on a user study. The results show that air tactile feedback has the potential to be used as a tactile output modality. 5 Inhaltsverzeichnis 1. Einleitung 13 2. Grundlagen 15 2.1. Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.1. Somatosensorisches System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.2. Aufbau der Haut . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.3. Wahrnehmung von bewegter Luft . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2. Fluidmechanik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.1. Druck . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.2. Volumenstrom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.3. Strömungsarten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.4. Düse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3. Verwandte Arbeiten 21 3.1. Freihand-Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2. Taktiles Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.1. Vibrotaktiles Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.2. Elektrostimulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.3. Ultraschall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.4. Luft-Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3. Codierung von Informationen durch taktiles Feedback . . . . . . . . . . . . . . . . . 25 3.3.1. Tactons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.3.2. Taktile Kontextvermittelung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4. Luft-Prototyp 29 4.1. Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.1.1. Kompressor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.1.2. Schaltungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.1.3. Magnetventile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.4. Düsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.5. Servos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.6. Mikrocontroller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2. Software Bibliothek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2.1. Protokoll . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2.2. Namespace Aircon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.2.3. Namespace Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.2.4. Namespace Handverfolgung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 7 4.2.5. MainClass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade 41 5.1. Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1.1. Minimale Dauer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1.2. Dauer JND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1.3. Maximale Frequenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1.4. Frequenz JND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5.1.5. Muster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5.1.6. Abschlussfragebogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.2. Probanden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.3. Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.3.1. Minimale Dauer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.3.2. Dauer JND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.3.3. Maximale Frequenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.3.4. Frequenz JND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.3.5. Muster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.3.6. Abschlussfragebogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.4. Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion 53 6.1. Design Hauptstudie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.1.1. LeapMotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 6.1.2. Unity3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 6.1.3. Whac-A-Mole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.1.4. Ausgabeprogramm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.1.5. Einstellung der Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 6.2. Fragebögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.2.1. Nasa Task Load Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.2.2. User Experience Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.3. Durchführung der Studie und Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . 61 6.3.1. Visuelle Ausgabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.3.2. Luftfeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.3.3. Luftführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.4. Probanden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.5. Auswertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.5.1. Punkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.5.2. Genauigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.5.3. NASA Task Load Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.5.4. User Experience Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.5.5. Abschlussfragebogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.6. Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 7. Zusammenfassung und Ausblick 69 8 A. Software-Library API 73 A.1. MainClass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 B. Fragebögen 79 B.1. Abschlussfragebogen Vorstudie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 B.2. Abschlussfragebogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Literaturverzeichnis 87 9 Abbildungsverzeichnis 2.1. Ein Hautquerschnitt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2. Die laminare Strömung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3. Die turbulente Strömung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.4. Die Charakteristiken eines Luftstromes . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.1. Schematische Darstellung des Luft-Prototyps . . . . . . . . . . . . . . . . . . . . . . . 29 4.2. Die Gesamtansicht des generischen Prototyps . . . . . . . . . . . . . . . . . . . . . . 30 4.3. Der Kompressor als Druckluftquelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.4. Der Schaltplan der Magnetventile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.5. Mit den Messstreifen konnte die Charakteristik der Düsen getestet werden. . . . . . . 33 4.6. Die Statemaschine des Prototyps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 5.1. Das Ein- und Ausgabeprogramm der Vorstudie . . . . . . . . . . . . . . . . . . . . . . 42 5.2. Der Aufbau der Vorstudie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.3. Die Muster auf der Hand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.4. Die Auswertung der maximalen Frequenz . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.5. Die Antworten der Frequenz-JNDs für die Referenzfrequenz von 5 Hz . . . . . . . . . 48 5.6. Die Mustererkennung ohne Größen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.7. Die Mustererkennung mit Größen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.8. Die Bewertung der Muster durch die Probanden . . . . . . . . . . . . . . . . . . . . . 51 6.1. Die LeapMotion und ihr Koordinatensystem . . . . . . . . . . . . . . . . . . . . . . . 54 6.2. Das Spiel Whac-A-Mole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.3. Das Ausgabeprogramm der Hauptstudie . . . . . . . . . . . . . . . . . . . . . . . . . 57 6.4. Das Hardwaresetup der Hauptstudie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 6.5. Die Durchführung der Hauptstudie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 6.6. Punkte der Hauptstudie nach Reihenfolge und Aufgabe . . . . . . . . . . . . . . . . . 64 6.7. Das Histogramm des TLX-Wertes der Aufgaben . . . . . . . . . . . . . . . . . . . . . 65 6.8. Der TLX-Wert in Versuchsreihenfolge . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 10 Tabellenverzeichnis 2.1. Die Eigenschaften der Mechanorezeptoren . . . . . . . . . . . . . . . . . . . . . . . . 17 4.1. Die technischen Daten des Kompressors . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.2. Der Durchmesser der Düsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.3. Das Protokoll zwischen Softwarelibrary und Mikrocontroller . . . . . . . . . . . . . . 36 5.1. Die Blockwerte und Testwerte für die Dauer JNDs . . . . . . . . . . . . . . . . . . . . 43 5.2. Die getesteten maximalen Frequenzen und deren Häufigkeit . . . . . . . . . . . . . . 44 5.3. Die Referenz- und Testwerte der Frequenz JNDs . . . . . . . . . . . . . . . . . . . . . 44 5.4. Die Testmuster und deren Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.5. Die Ergebnisse der Frequenz JNDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 6.1. Das Protokoll zur Übertragung der Daten von Unity zum Ausgabeprogramm. . . . . 58 6.2. Das Latin-Square Schema der Versuchsreihenfolgen . . . . . . . . . . . . . . . . . . . 61 6.3. Vergleich der UEQ-Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 11 1. Einleitung Der technologische Fortschritt ermöglicht eine Vielzahl neuer Eingabetechniken wie die Freihand- Interaktion, die sich durch ihre Ähnlichkeit zur alltäglichen und natürlichen Interaktion vonMenschen auszeichnet. Wir heben Dinge auf, manipulieren sie nach unseren Wünschen und verrichten Arbeiten damit. Auch Gespräche und Argumentationen zwischen Menschen werden häufig durch Gesten unterstützt. Die Erfassung und Verarbeitung dieser multimodalen Eingaben in Computersysteme entwickelt sich mit großer Geschwindigkeit weiter und es ist für die Zukunft zu erwarten, dass diese Art der Interaktion mit eingebetteten Computern in das tägliche Leben Einzug halten wird. Dabei ist es notwendig, dass dem Benutzer konstruktives Feedback für möglichen Aktionen, bei auftretenden Eingabefehlern und Anleitungen zur Durchführung der Interaktion ausgegeben wird [Nor10]. Zu- sätzlich wird durch das Hinzufügen von Feedback die Freihand-Interaktion durch realistischere und mehr immersive Erfahrungen erweitert. Des Weiteren ist der Einsatz von taktilem Feedback dann von Vorteil, wenn audio und visuelle Wahrnehmungskanäle von Benutzern bereits stark belegt sind, oder durch eingeschränkte Wahrnehmungsmöglichkeiten gar nicht vorhanden sind. Insbesondere bei der Ausgabe von taktilem Feedback ist die Herausforderung, den Benutzer möglichst wenig in seinem Bewegungsspielraum einzuschränken. Bei vielen Ansätzen, wie zum Beispiel vibrotaktilem Feedback, ist dies bei Freihand-Interaktion nicht gegeben, da die Ausgabeaktuatoren am Körper befestigt werden müssen. Statt der weit verbreiteten Technik, taktiles Feedbacks durch Vibrationen direkt auf die Haut zu übertragen, kann durch den Einsatz von Wind, taktiles Feedback auf Distanz übertragen werden. Diverse Arbeiten im Bereich von virtuellen Umgebungen simulieren den Wind häufig mit gesteuerten Ventilatoren welche im Raum verteilt, oder an Kleidungstücken wie Helmen befestigt werden. Diese Art der Windausgabe ist sehr ähnlich zum natürlichen Wind wie er in der Natur gegeben ist, jedoch ist die Auflösung der Ausgabe klein und die übertragbare Informationsdichte eher gering. Eine andere Möglichkeit stellt die gezielte Ausgabe von Druckluft durch Mikrocontroller-gesteuerte Magnetventile mit Ausgabe über Düsen dar. Die Verwendung von Druckluft ist die Wissenschaft der Pneumatik und wird seit langem in industriellen Umgebungen eingesetzt. Sehr viel weniger bekannt sind die Wirkungen von direkten Luftstößen auf die menschliche Wahrnehmung und in welcher Art damit Informationen bei Computerinteraktion ausgegeben werden kann. Bei der Entwicklung von neuartigen taktilen Feedbacksystemen ist es von Vorteil auf Rapid Prototy- ping mit vielen Iterationsschritten zu achten. Im ersten Schritt können bereits bekannte Erkenntnisse von anderen taktilen Ausgabesystemen analysiert und eine Abschätzung zur Verwendbarkeit für Luft-taktiles Feedback getroffen werden. Die Analyse der verwendbaren Freiheitsgrade erfolgt durch die Betrachtung der physikalischen, technischen und physiologischen Eigenschaften des durch Luft gegebenen Design-Space. 13 1. Einleitung Das Ziel der Diplomarbeit ist die Untersuchung der Möglichkeiten von taktiler Interaktion mittels Luft. Dazu ist es notwendig einen Prototyp anzufertigen, auf dessen Basis Benutzerstudien zur Evaluierung dieser Ausgabemodalität durchgeführt werden können. Eine zu klärende Frage ist es, welche Freiheitsgrade bei der Luftausgabe sinnvoll einsetzbar sind. Die gewonnenen Ergebnisse werden verwendet um in einem durch Freihand-Interaktion gesteuerten Computerspiel taktiles Luftfeedback als Ausgabemodalität zu verwenden. Gliederung Die Arbeit ist in folgender Weise gegliedert: Kapitel 2 – Grundlagen: In diesem Kapitel sind die Grundlagen der taktilen Wahrnehmung von Menschen sowie grundlegende Eigeneschaften der Pneumatik beschrieben. Kapitel 3 – Verwandte Arbeiten: Dieses Kapitel gibt einen Überblick über die Freihand-Interaktion, taktilem Feedback und takiler Nachrichtencodierung und ordnete damit das vorliegende Projekt in den Kontext verwandter Arbeiten ein. Insbesondere wird hier auf Luft-Feedback-Arbeiten eingegangen, da ein eigener Luft-Prototyp entwickelt werden soll. Kapitel 4 – Luft-Prototyp: Der erstellte Prototyp wird in diesem Kapitel beschrieben. Dabei wird auf die eingesetzte und die selbst erstellte Hard- und Software eingegangen. Kapitel 5 – Benutzerstudie zur Untersuchung möglicher Freiheitsgrade: In diesem Kapitel sind die Studie und Ergebnisse der Evaluierung von Freiheitsgraden bezüglich Luft-Feedback aufgetragen. Kapitel 6 – Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion: In diesem Kapitel ist das Design und die Evaluierung durch eine Benutzerstudie für das Freihand- Interaktionssystem angegeben. Kapitel 7 – Zusammenfassung und Ausblick Dieses Kapitel fasst die Ergebnisse der Arbeit zu- sammen und stellt Anknüpfungspunkte vor. 14 2. Grundlagen Im ersten Teil dieses Kapitels werden die Grundlagen der taktilen Wahrnehmung und deren Wirkung erklärt. Der zweite Teil beinhaltet grundlegende physikalische Zusammenhänge und Eigenschaften der Pneumatik und der Fluidmechanik auf der Anwendungsebene. 2.1. Wahrnehmung Die Sinne des Menschen untergliedern sich in fünf verschiedene Bereiche: Sehen, Hören, Tasten, Schmecken und Riechen. Für diese Arbeit ist speziell der Tastsinn von Wichtigkeit und wird im weiteren genauer beschrieben. 2.1.1. Somatosensorisches System Die Verarbeitung des Tastsinnes wird beim Menschen vom somatosenorischen System übernom- men. Die Reize werden dabei von den verschiedenen Rezeptoren in und unter der Haut über das zentrale Nervensystem an das Gehirn zur Verarbeitung übertragen. Das somatosensorische System untergliedert sich in die Teilsysteme der Tiefenwahrnehmung sowie der Oberflächensensibilität. Die Wahrnehmungsorgane der Tiefensensibilität, auch kinästetische Wahrnehmung genannt, be- finden sich unter der Haut an den Muskeln, Sehnen und Gelenken des menschlichen Körpers. Sie ermöglichen die Wahrnehmung der Position und Stellung von Gelenken, geben Informationen über den Anspannungszustand von Muskeln und Sehnen sowie Auskunft über die Bewegungsrichtung des Körpers. Die Oberflächensensibilität, auch taktile Wahrnehmung genannt, bezeichnet hingegen die Verar- beitung von Empfindungen der Haut. Abhängig von der Körperstelle gibt es eine unterschiedliche Anzahl und Konzentration verschiedener Rezeptoren, welche für die Wahrnehmung von Berührung, Druck, Vibrationen, Temperatur und Schmerz zuständig sind. Die Kombination von kinästetischer und taktiler Wahrnehmung ist die haptische Wahrnehmung. 2.1.2. Aufbau der Haut Die menschliche Haut ist ein komplexes und sehr wichtiges Organ, das den Menschen vor nega- tiven Umwelteinflüssen schützt, die Körperwärme reguliert und unterschiedliche Rezeptoren zur Wahrnehmung beherbergt. Die Haut besteht aus drei Hautschichten: die Oberhaut (Epidermis), Leder- haut (Dermis) und Unterhaut (Subkutis). Die verschiedenen Rezeptoren der Oberflächensensibilität 15 2. Grundlagen verteilen sich innerhalb dieser Hautschichten. Die Rezeptoren sind nicht gleichmäßig in der Haut verteilt, sondern unterscheiden sich in der Konzentration zwischen behaarter und unbehaarter Haut sowie dem Ort am Körper [Car04]. Die Abbildung 2.1 zeigt die behaarte und unbehaarte Haut im Querschnitt. Abbildung 2.1.: Der Querschnitt durch die Haut mit behaarter und unbehaarter Haut der oberen beiden Hautschichten. Zusätzlich sind die verschiedenen Mechanorezeptoren zu sehen. Abbildung aus [SK10] Kapitel 12, Seite 12.3 Mechanorezeptoren Besonders wichtig für die Wahrnehmung von taktilen Reizen sind die Mechanorezeptoren, bei denen vier verschiedene Arten unterschieden werden können. • Meissner-Körperchen, • Ruffini-Körperchen, • Vater-Pacini-Körperchen und • Merkel-Zellen Die Rezeptoren können in zwei Gruppen unterteilt werden: schnell und langsam adaptierende. Schnell adaptierende Rezeptoren sind die Meissner-Körpcherchen sowie Vater-Pacini-Körperchen. Diese feuern sehr schnell bei Bewegungen oder Veränderungen der Reizstärke. Länger gleich bleibende Reize können mit diesen Rezeptoren jedoch nicht wahrgenommen werden. Die langsam adaptierenden Rezeptoren, wie Ruffini-Körperchen und Merkel-Zellen, reagieren dagegen langsam auf eingehende Reize. Das ermöglicht ihnen jedoch auch die Wahrnehmung von länger gleich bleibenden Stimuli. 16 2.1. Wahrnehmung Die Rezeptoren können zusätzlich über die Art der Stimuli unterschieden werden. Die Zuständigkeiten sind in Tabelle 2.1 aufgelistet. Rezeptor Meissner- Körperchen Ruffini- Körperchen Pacini- Körperchen Merkel-Zellen Ort Dermis Dermis, Epider- mis Dermis Epidermis Adaption schnell langsam schnell langsam Größe klein, 12 mm groß, 60 mm groß, 100 mm klein, 12 mm Funktion Geschwindigkeit Dehnung der Haut, Temperatur Vibration, Druck Vibration, Druck Frequenz 20-100 HZ 0-10 HZ 100 HZ-1 kHZ 0-10 HZ Tabelle 2.1.: Die Eigenschaften der Mechanorezeptoren. Thermorezeptoren Die Wahrnehmung von Temperatur erfolgt durch Thermorezeptoren. In der Haut von Menschen gibt es Kälterezeptoren, die auf Kälte ansprechen sowie Wärmerezeptoren, die bei Wärme reagieren. Die Empfindung von Temperatur ist relativ, da sich die Thermorezeptoren nach kurzer Zeit auf eine Temperatur adaptieren und erst bei Abweichungen der Temperatur nach oben oder unten wieder reagieren. Der Mensch besitzt mehr Kälterezeptoren als Wärmerezeptoren, die in unterschiedlicher Dichte in dermenschlichenHaut vorhanden sind. An den Lippen befinden sich etwa 25 Kälterezeptoren pro cm2, während es an den Handflächen 1-5 Kälterezeptoren pro cm2 sind [UL14]. 2.1.3. Wahrnehmung von bewegter Luft Das Spüren von bewegter Luft erfolgt vor allem durch die Verarbeitung der Reize von Mechano- rezeptoren und Thermorezeptoren durch das Gehirn. Die Luft trifft die Oberfläche der Haut und erzeugt dabei mechanische Reize, wie Vibrationen oder Verformungen, die über Mechanorezeptoren wahrgenommen werden können. Zusätzlich werden diese mechanischen Reize auch von den feinen Härchen der behaarten Haut aufgenommen und weitergeleitet. Der zweite Effekt ist die wahrnehm- bare Kühlung durch Wind (Windchill1), wobei der Luftzug zum einen die warme Luft in der Nähe der Haut durch kalte Luft ersetzt, und zum anderen die Haut durch die erhöhte Verdunstung zusätzlich kühlt. Anstatt zu kühlen kann durch vorherige Erhitzung der Luft auch eine wärmende Empfindung resultieren (Fön). Bei starken Luftbewegungen und der damit einhergehenden Kraft auf Muskeln und Sehnen wird die kinästetische Wahrnehmung zusätzlich ein Teil der Empfindung von bewegter Luft. 1NWS Windchill *http://www.nws.noaa.gov/om/windchill/index.shtml 17 2. Grundlagen 2.2. Fluidmechanik In diesem Abschnitt sind grundlegende Eigenschaften der Fluidmechanik, insbesondere im Hinblick auf Pneumatik und Druckluft erklärt. Dabei ist die Herangehensweise mehr praktischer Natur als Vermittlung der sehr komplexen Zusammenhänge von Thermodynamik und Teilchenphysik. Dieser Abschnitt basiert auf der Literatur des Druckluft-Kompendiums [UB04], der Arbeit von Tsalamlal et al. [TOA13] sowie dem Handbuch der Drucklufttechnik [Atl09]. 2.2.1. Druck Druck ist das Verhältnis zwischen einer Kraft und der Fläche auf die sie wirkt: p = N(Newton) m2 = Pa(Pascal) Da die Einheit Pascal eine sehr kleine Einheit ist, wird der Druck häufig in bar angegeben. Dabei gilt: 1 bar = 105 Pa. Der allgemein herrschende Luftdruck bei 20◦C und einer Luftfeuchtigkeit von 65% auf 0 m NN beträgt 1,013 bar. Der in Luftdruckanwendungen gemessene Druck wird als relativer Druck bezeichnet und wird ohne den Luftdruck angegeben. Ein Luftdruck von 2 bar bei einem Volumen von einem Liter entspricht somit der entspannten Luftmenge von 2 Litern. 2.2.2. Volumenstrom Der Volumenstrom wird in Volumen pro Zeiteinheit angegeben, zum Beispiel in Liter pro Sekunde. Das Volumen bezieht sich auf den entspannten, also nicht komprimierten, Zustand der Luft. Der Volumenstrom ist eine wichtige Angabe bei einem Kompressor, da sie die Förderleistung beschreibt. Des Weiteren kann mit dem Volumenstrom der Luftverbrauch einer Düse angegeben werden. Die Er- mittlung des Volumenstromes erfolgt häufig durch Messgeräte. Die Regulierung des Volumenstromes kann über Massenflussregler erfolgen. 2.2.3. Strömungsarten Zur Erzeugung einer Luftströmung in einem Rohr muss ein Druckunterschied bestehen. Dieser Druckunterschied muss größer als die Druckverluste in der gesamten Luftleitung sein. Der Druckun- terschied hängt vom Durchmesser des Rohres, der Länge und Form, den Oberflächeneigenschaften und von der Reynolds-Zahl ab. Die Reynolds-Zahl beschreibt, ob eine Strömung laminar oder turbulent ist. Wie in Abbildung 2.2 dargestellt ist im laminaren Zustand die Luftströmung gleichförmig und es treten keine Verwirbelungen auf. Das Geschwindigkeitsprofil der Luftströmung in einem Rohr- querschnitt entspricht der Parabelform. Wie in Abbildung 2.3 dargestellt treten bei einer turbulenten Strömung Verwirbelungen auf und die Geschwindigkeitsverteilung ist zufällig. Der Druckabfall und der Wärmeübergang bei einer laminaren Strömung sind geringer als bei turbulenten Strömungen. 18 2.2. Fluidmechanik Abbildung 2.2.: Die laminare Strömung ist gleichgerichtet und ohne Verwirbelungen. Dadurch treten weniger Druckverluste auf. Abbildung aus dem Druckluftkompendium [UB04] Abbildung 2.3.: In der turbulenten Strömung gibt es viele Verwirbelungen. Die Druckverluste sind dabei größer. Abbildung aus dem Druckluftkompendium [UB04] 2.2.4. Düse Eine Querschnittsverengung in einer Luftleitung wird als Düse bezeichnet. Die Durchflussmenge, auch Volumenstrom, hängt vom Druckverhältnis zwischen den beiden Seiten ab. Wird der Eingangsdruck erhöht und der Druck auf der Ausgangsseite bleibt gleich erhöht sich die Durchflussmenge. Durch die Verengung in der Luftleitungmuss die gleicheMenge Luft fließenwie vor der Verengung. Das geschieht durch die Erhöhung der Luftgeschwindigkeit. Neben der Erhöhung der Luftgeschwindigkeit gibt es einen Druckverlust. Es gilt folgender Zusammenhang zwischen Volumenstrom, Querschnittsfläche A1 und Geschwindigkeit v1vor der Verengung und Querschnittsfläche A2 und Geschwindigkeit v2 nach der Verengung: V olumenstrom = A1 ∗ v1 = A2 ∗ v2 Die maximale Luftgeschwindigkeit wird als kritischer Punkt bezeichnet und liegt, vor sobald die Luft mit Schallgeschwindigkeit strömt. Ab diesem Punkt wird eine Erhöhung des Drucks den Volumen- strom nicht mehr vergrößern. Der Luftstrom einer Düse, die in den Raum bläst, kann wie von Gauntner et al. [GLH70] beschrieben und in Abbildung 2.4 dargestellt, in zwei Regionen aufgeteilt werden. In der RegionI bleibt die Geschwindigkeit der Luft nahezu wie die Geschwindigkeit beim Austritt aus der Düse. Diese Region ist jedoch relativ kurz und geht dann in RegionII über. In dieser Region zerstreut sich der Luftstrahl zunehmend quer zur mittigen Geschwindigkeit und verliert Energie. Die Berechnung eines genauen Modells ist sehr schwierig, so dass das Verhalten häufig empirisch bestimmt wird. 19 2. Grundlagen Abbildung 2.4.: Das Verhalten eines Luftstromes bei Austritt in den Raum. Abbildung aus [TOA13]. 20 3. Verwandte Arbeiten Die technologische Entwicklung ermöglicht immer fortschrittlichere und natürlichere Interaktions- möglichkeiten mit Computern. Eine Entwicklung dabei ist die Richtung der Freihand-Interaktion. Dabei wird es den Benutzern durch Erfassung und Interpretation von Händen, Gesichtern oder Körperhaltungen ermöglicht Eingaben zu tätigen ohne Verwendung von Geräten wie herkömmliche Tastaturen oder Touchscreens. Diese Interaktion findet häufig in der Luft ohne Körperkontakt zu Geräten statt und es ist deshalb wünschenswert künstliches Feedback auszugeben. Viele Systeme basieren auf visuellem oder akustischem Feedback, um Informationen an Benutzer auszugeben. In diesem Kapitel wird eine Übersicht über verschiedene Arbeiten im Bereich des taktilen Feedbacks gegeben. Des Weiteren werden Arbeiten über die Möglichkeiten zur Codierung und Abstrahierung von taktilen Nachrichten aufgezeigt. 3.1. Freihand-Interaktion Der Begriff Freihand-Interaktion beschreibt die Möglichkeit der Steuerung eines interaktiven Systems durch Gesten in der Luft, ohne die Notwendigkeit ein Eingabegerät zu führen oder durch sonstige Geräte und Kabel in der freien Bewegung eingeschränkt zu sein [NWP+11] . In der Arbeit von Hinckley et al. [HPGK94] sind zu beachtende Eigenschaften für diese Art der Interaktion dargestellt sowie grundsätzlich zu beachtende Aspekte bei der Erstellung von Freihand-Interaktionssystemen erklärt. Eine Möglichkeit zur Erfassung der Gesten und Positionen von Benutzern ist die Verwendung von Tiefenbildkameras, wie bei der Microsoft Kinect1. Andere Systeme, wie die LeapMotion2, verwenden Stereokameras, um die Hände von Benutzern zu erfassen. Der Hauptunterschied zwischen Kinect und LeapMotion bezüglich dem Anwendungsgebiet ist der erfasste Bereich. So kann die Kinect den Benutzer noch auf mehreren Metern Entfernung erfassen, während die LeapMotion in einem viel geringeren Bereich eine genaue Erfassung ermöglicht. Der Vergleich der resultierenden Mikro- und Makro-Gesten wird in der Arbeit von Develin Cronin [Cro13] angestrebt. Obwohl die LeapMotion erst seit kurzer Zeit käuflich zu erwerben ist, sind bereits über 200 Apps im Airspace genannten Appstore verfügbar. In der Arbeit von Regenbrecht et al. [RCH13] wird die LeapMotion-Steuerung genutzt um Objekte in einer 3D-Umgebung zu manipulieren. In der Arbeit von von Vikram et al. [VLR13] wird die LeapMotion eingesetzt, um über die Auswertung der Hand- und Fingerbewegungen handschriftliche Eingaben von Benutzern zu erkennen. Die Möglichkeit der Steuerung eines Roboterarmes mit der LeapMotion wird in der Arbeit von Hernoux et al. [HBG+13] gezeigt. 1Kinect - *http://www.xbox.com/kinect. 2LeapMotion - *https://www.leapmotion.com/ 21 3. Verwandte Arbeiten 3.2. Taktiles Feedback Die Wahrnehmung von Druck, Vibration, Temperatur und Schmerz über die Haut wird taktile Wahrnehmung genannt. Entsprechend ist die gezielte Stimulation dieser Wahrnehmungsmodalitäten das erklärte Ziel von taktilem Feedback. In diesem Abschnitt werden Systeme und Forschungsarbeiten aus dem Bereich des taktilen Feedbacks vorgestellt. 3.2.1. Vibrotaktiles Feedback Die Ausgabe von Vibrationen auf die Mechanorezeptoren der menschliche Haut erfolgt durch Vibrati- onsaktuatoren. Zur Erzeugung der Vibration wird eine Schwungkörper mit Unwucht durch einen Motor in Kreisbewegung versetzt. Je nach Geschwindigkeit dieser Kreisbewegung kann die Intensität der Vibration sowie die Frequenz der Vibration verändert werden. Damit die Vibration auf die Haut übertragen werden kann ist der Hautkontakt der Vibrationsaktuatoren notwendig. Eine Übersicht verschiedener Vibrationsakturatoren wird in der Arbeit von Jones et al. [JNL04] gegeben. Ein möglicher Einsatzzweck für vibrotaktiles Feedback ist die Unterstützung von Navigationsauf- gaben durch die Ausgabe von Richtungsinformationen über taktiles Feedback. Eine Möglichkeit zur Präsentation der Informationen über Vibrationsaktuatoren ist, diese in die Sitze der Fahrzeuge einzubauen. Im Navigationsunterstützungssystem von van Erp und van Veen [VEVV01] werden deshalb über die im Sitz, entlang der Oberschenkel verbauten Vibrationsmotoren genutzt, um über einfache Muster die Richtung anzuzeigen. Ein ähnliches System wurde von Ho et al. [HTS05] erstellt. Dabei wurden Warnmeldungen beim Autofahren über vibrotaktile Stimuli durch einen Gürtel auf der Vorder- und Rückseite der Probanden ausgegeben. Im Versuch konnte gezeigt werden, dass die visuelle Aufmerksamkeit von Probanden durch taktiles Feedback verbessert und gelenkt werden kann. Ein weiteres System, bei dem vibrotaktile Aktuatoren in einer Weste integriert sind, wurde von van Veen und van Erp [VE01] entwickelt, um Piloten bei der Navigation zu unterstützen. Dabei werden die Vorteile von taktilem Feedback gegenüber anderen Ausgabekanälen diskutiert und in der Studie wird gezeigt, dass große G-Kräfte die Erkennung von Vibrationsfeedback nicht verhindern. In der Arbeit von Péter Galambos [Gal12] können verschiedene virtuelle Objekte gegriffen werden, wobei durch die Kombination von Vibrationsaktuatoren an den Fingerspitzen und einem Force- Feedback-Gerät auf dem Tisch eine realistische Erfahrung für die Benutzer simuliert wird. In dieser Arbeit werden fünf unterscheidbare Steifheitsgrade ermittelt, die durch vibrotaktiles Feedback erzeugt werden können. In einer weiteren Arbeit mit einem Vibrationshandschuh können Navigationsaufga- ben in Operationsszenarien mit dem System von Hein und Brell [HB07] durchgeführt werden. Die Navigation erfolgt dabei komplett durch taktiles Feedback, sodass die visuelle Aufmerksamkeit des Chirurgen nicht geteilt wird. 3.2.2. Elektrostimulation Eine weitere Möglichkeit zur Ausgabe von Feedback ist die Elektromyostimulation (EMS). Bei diesem Verfahren werden die Muskeln durch das Anlegen von kleinen elektrischen Strömen direkt stimuliert. Es gibt verschiedene portable EMS-Geräte, welche die Ströme über Elektroden in Kleidungsstücken 22 3.2. Taktiles Feedback wie Armbändern und Westen leiten. Die Vorteile von EMS-Feedback sind der im allgemeinen geringe Stromverbrauch der Geräte, die Möglichkeit haptisches Feedback zu generieren sowie die Wahrung der Privatsphäre durch Vermeidung von Störgeräuschen. [PSAR14a] Im System von Pfeiffer et al. [PSA13] wird EMS eingesetzt, um die Interaktion mit großen öffentlichen Displays durch haptisches Feedback zu ergänzen. Das haptische Feedback wird dabei für ein Kinect- basierendes Spiel ausgegeben und hat eine große Bandbreite der Wirkung, welche von leichtem Kitzeln bis Muskelkontraktion reicht. In der Arbeit von Farbiz et al. [FYMA07] wird EMS-Feedback in einem virtuellen Tennisspiel eingesetzt, um das Forcefeedback beim Schlagen zu simulieren. Der Vergleich zwischen EMS-Feedback und vibrotaktilem Feedback wird in der Arbeit von Pfeiffer et al. [PSAR14b] durchgeführt. Demnach ist EMS-Feedback insbesondere für haptische Ausgaben geeignet, für das fühlbar Machen von Interaktionen mit harten Objekten sowie als Feedback für Anwendungen bei welchen die Geräusche von Vibrationsmotoren stören. 3.2.3. Ultraschall Die Grundlage dieser Technik ist ein seit 1933 bekanntes Phänomen von Ultraschall: Schallstrahlungs- druck. Dabei werden die Luftteilchen durch ein Ungleichgewicht beim Ansaugen und Abstoßen im Mittel weg vom Sender gestoßen, mit dem Effekt der Erzeugung einer Kraft. [Reg] In der Forschungsarbeit von Hoshi et al. [HTIS10] wird vorgeschlagen, dieses Phänomen für taktiles Feedback zu nutzen. Hierzu werden in einem prototypischen Aufbau 324 Lautsprecher mit einem Durchmesser von 10mm in einer 18x18Matrix derart angesteuert, dass esmöglich ist, 324 Fokuspunkte, mit einer jeweiligen Fläche von 10mm2, in 20 cm Entfernung zur Lautsprechermatrix zu erzeugen. Durch gezielte Modulation des erzeugten Drucks im Fokuspunkt wird eine taktile Wahrnehmung erzeugt, die von den Testpersonen als Vibration oder wie das Streichen einer Feder über die Handfläche beschrieben wird. In einem erweiterten Prototyp [Hos11] kann über zwei Lautsprechermatrizen ein Volumen von 20 cm3 mit taktiler Ausgabe versorgt werden. Die maximal erzeugte Kraft an einem Fokuspunkt beträgt 16 mN und ist somit nicht für die kinästetische Stimulation geeignet. Ein bedeutender Nachteil dieser Technik sind die möglichen Gesundheitsrisiken zum einen durch den nicht hörbaren, aber existierenden, Schalldruck von 121.5 db in 30 cm Entfernung, zum anderen durch die erzeugte Hitze unter der Haut der Benutzer. [TOA13] 3.2.4. Luft-Feedback In diesem Abschnitt werden Systeme beschrieben, welche Luft verwenden, um taktiles Feedback auszugeben. Dabei gibt es zwei grundsätzliche Möglichkeiten, um Luft derart einzusetzen. Die erste Möglichkeit ist, Luft direkt auf die Haut von Benutzern auszugeben. Dafür können kontinuierliche Luftstrahlen verwendet werden oder die gezielte Ausnutzung von Luftwirbel-Phänomenen, welche die Reichweite deutlich erhöhen können. Bei der zweiten Möglichkeit trifft die Luft nicht direkt auf die Haut, stattdessen wird die Kraft der Druckluft indirekt genutzt. Es können Ausbeulungen oder härtere Stellen an flexiblen Materialien wie Gummi erzeugt werden, oder die Erzeugung von Druck auf die Haut durch das Aufblasen von Luftgefäßen. 23 3. Verwandte Arbeiten Vortex-Systeme Durch eine spezielle Technik ist es möglich einen Luftvortex zu erzeugen. Dazu wird ein kurzer Luftstoß über eine vulkanförmige Düse ausgegeben. Die Luftmoleküle bewegen sich in der Mitte schneller als am Rand der Düse und erzeugen somit einen Ring aus Luft. Dieser Ring kann sehr schnell durch den Raum geblasen werden und behält die Form und Energie über eine größere Distanz bei. Die von Sodhi et al. [SPGI13] Aireal genannte Apparatur nutzt dieses Prinzip um eine Luft-taktile Ausgabe in einem kegelförmigen Bereich zu ermöglichen. Als Luftstoß-Generator werden fünf Laut- sprecher mit der Vorderseite in ein Kästchen verbaut und durch einen Mikrocontroller angesteuert. Um einen Luftstoß zu erzeugen, müssen die Lautsprecher einmal zur gleichen Zeit die Luft im Innen- raum des Kästchens verdrängen, welche dann lediglich durch eine einzige Öffnung in Richtung der Düse entweichen kann. Die Richtung des erzeugten Luftvortexes wird durch die flexible Düse mit zwei Servomotoren gesteuert. Die Freiheitsgrade Frequenz, Intensität und Ort ermöglichen durch beliebige Kombinationen und bei Benutzung von mehreren Aireal-Geräten ein breites Spektrum an taktilem Feedback. Die An- wendungsbereiche dieser Interaktionsmethode sind die Unterstützung von berührungslosen Gesten mit taktilem Feedback, Verstärkung der Immersion in Augmented-Reality-Anwendungen sowie das Fühlbar machen von Strukturen bei virtuellen Oberflächen. Der Vorteil dieser Technik ist die für Luft sehr große Reichweite von einem Meter. Nachteilig ist der benötigte feste Aufbau der Apparaturen im Raum sowie die durch die Limitierung auf Luftvortexe geringe maximal übertragbare Kraft. Das Cloud Display von Tokuda et al. [TSN+10] kann durch mehrere an Rauchgeneratoren angeschlos- sene Luftvortexkanonen ein Bild in der Mitte eines Raumes anzeigen. Um eine Störung der sensiblen Generierung von Luftvortexen zu verhindern, ist es notwendig die Luftvortexkanonen durch kleine Wände voneinander zu trennen sowie Störeinflüsse zum Beispiel Luftbewegungen von Klimaanlagen möglichst zu minimieren. Luftstrahlsysteme Die Grundlage dieser Technik ist die Ausgabe von Druckluft über Düsen, wie sie auch in der Pneumatik verwendet wird. Die Druckluftquelle kann dabei ein Kompressor oder ein gefüllter Drucklufttank sein. Den Parametern der Düsen kommt eine wesentliche Rolle bei der Gestaltung dieser Art von System zu. Die in pneumatischen Anwendungen eingesetzten Düsen unterscheiden sich stark beim Luftverbrauch, Ausflusscharakteristik und Lautstärke. Die Kategorie der Mikrodüsen zeichnet sich durch kleine Größen sowie geringen Luftverbrauch aus. Als Alternative zu käuflichenDüsen bietet sich die Selbstkonstruktion durch 3D-Drucker an. Falls die Luftstrahlen nicht kontinuierlich, sondern zum Beispiel durch den Anwendungskontext an- und ausgeschaltet werden sollen, eignen sich gesteuerte elektro-magnetische Ventile (Magnetventile). Diese können zwischen Druckluftquelle und Düse in die Druckluftschläuche eingebaut und durch einen Mikrocontroller gesteuert werden. Im Force Feedback System für virtuelle Realität von Kobayashi [SK05] sind die Düsen in einer 10x10 Matrix mit Abstand zueinander von 4cm in einen Tisch integriert. Mit den Luftstrahlen kann auf die Hand eines Benutzers über den löffelähnlichen Luftempfänger eine kinästetische Kraft übertragen 24 3.3. Codierung von Informationen durch taktiles Feedback werden. Die Position des Luftempfängers wird vom System erfasst und die der Position entspre- chenden Düsen werden entsprechend des Anwendungskontexts geschaltet. Desweiteren bietet das Gesamtsystem die Möglichkeit der Projektion eines stereoskopischen Bildes auf die Oberfläche des Tisches. Als möglicher Anwendungszweck wird die haptische Ausgabe von virtuellen Objekten vor- geschlagen. So konnte gezeigt werden, dass Benutzer die Kanten eines projizierten Quaders ertasten können. Die übertragene Kraft auf den Luftempfänger wird mit circa 0,7 Newton angegeben, die maximale Entfernung zur Tischoberkante in der die Luft gespürt werden kann sind 30 cm. Das System von Bianchi et al. [GDBO12] nutzt einen Luftstrahl für die direkte taktile Stimulation der Fingerkuppen. Die Intensität des Luftstrahls kann über eine regulierbare Düse eingestellt werden. Dazu wird über den Luftausgang eine Drehscheibe angebracht, die den tatsächlichen Durchmesser des Luftausganges reduzieren oder inkrementieren kann. Der Anwendungszweck dieses Systems ist im medizinischen Bereich die Erkennung von Knoten oder Verhärtungen im menschlichen Körper, was für Chirurgen eine wichtige Information darstellt. Damit die Auflösung der taktilen Stimulation ausreichend genau ist, sollte die Distanz zwischen Düse und Fingerkuppe etwa 2 cm betragen. Im Prototyp von Inue et al. [IKL09] kann der Benutzer mit der Handfläche oder Fingerkuppe über die hautähnliche Oberfläche streichen und vorhandene Knoten ertasten. Um einen Knoten zu simulieren wird die flexible Oberfläche von der Unterseite durch einen Luftstrahl moduliert. Die Beschaffenheit des Knotens wird über die Intensität in Luftmenge pro Minute und Distanz der Düse zur Oberfläche eingestellt. Die Luftmenge bestimmt die Härte des Knoten, die Distanz verändert die Größe. Zusätzlich wird die Position der Düse an die Bewegung der Benutzerhand angepasst. Somit reicht dem System ein Luftausgang um eine ausreichende Auflösung zu gewährleisten. 3.3. Codierung von Informationen durch taktiles Feedback Die Verwendung von taktilem Feedback zur Codierung von Informationen wird bereits in vielen Bereichen der Mensch-Computer-Interaktion eingesetzt. Die Ausgabe für blinde Menschen kann durch Brailleschrift erfolgen und Mobiltelefone vibrieren beim Erhalt von Textnachrichten. Bevor ein taktiles Ausgabesystem erstellt wird ist es sinnvoll die Freiheitsgrade dieser Ausgabemodalität zu prüfen. Die verwendbaren Freiheitsgrade sind durch die menschliche Wahrnehmung und die technischen Gegebenheiten der Ausgabehardware limitiert. 3.3.1. Tactons Die von Brewster et al. [BB04] vorgestellte Art zur strukturierten Codierung von taktilen Informa- tionen wird Tactons genannt. Für die Ausgabe durch taktiles Feedback kann eine Nachricht durch verschiedene Freiheitsgrade ausgegeben werden. Zu diesen Freiheitsgraden gehören die Frequenz, Dauer, Intensität, Wellenform, Rhytmus, Körperstelle und Raum-zeitliches Muster. Die Freiheitsgrade können in hierarchischer Art und Weise miteinander kombiniert werden um komplexe Ausgaben zu erstellen. Bei der Beschreibung der Tactons wird nicht auf eine spezielle Ausgabemodalität geachtet, die Freiheitsgrade sollen universell für alle möglichen taktilen Ausgabegeräte identifiziert werden. 25 3. Verwandte Arbeiten Freiheitsgrade: • Frequenz: der Frequenzbereich ist für Vibratoren 20-1000 Hz. Die Amplitude hat Einfluss auf die Wahrnehmung von taktilen-Frequenzausgaben. Die Unterscheidung zweier Frequenzen ist für die menschliche Wahrnehmung erst ab einem genügend großen Unterschied möglich. Die minimalen notwendigen Unterschiede um zwei Frequenzen unterscheiden zu können erfolgt über die Angabe von Just Noticeable Differences (JNDs). Die untere Grenze der darstellbaren Frequenz ist bei der Luft die minimale Schaltzeit der Magnetventile. Die obere Grenze der mit Luft darstellbaren Frequenz ist der Punkt an dem sich die verschiedenen Luftstöße wie ein dauerhafter Luftstrahl anfühlen. Dieses Tacton lässt sich mit einem Magnetventil und einer Luftdüse realisieren. • Dauer: über die unterschiedliche Dauer von Ausgaben lassen sich Informationen codieren. In der Ausgabe mit Luftstößen entspricht dieses Tacton der Zeitspanne in der ein Magnetventil offen ist und von Luft passiert werden kann. • Amplitude: durch verschiedene Intensitäten der Stimuli können Ausgaben taktil codiert werden. Die Intensität hat Einfluss auf alle Tactons, auch dann wenn Sie nicht verändert wird. Eine zu geringe Intensität bei der Ausgabe hat eine grundsätzlich schlechtere Wahrnehmung zur Folge. Wird die Intensität jedoch zu stark gewählt, fühlt es sich für die Benutzer unangenehm an, oder wird als Schmerz wahrgenommen. In der Arbeit von Tsalamlal et al. [TOA13] werden die JNDs für die Intensität einer Luftausgabe betrachtet. Dabei stellen die Autoren fest, dass die absolutenWerte der JNDs relativ zu den Referenzausgaben sind. DesWeiteren wird in der Arbeit vorgeschlagen weitere Freiheitsgrade zu untersuchen um die Parameter für Luftausgabesysteme spezifizieren zu können. Die Regelung von Intensitäten bei der Luftausgabe kann durch die Einstellung des Volumenstromes vorgenommen werden. Die Veränderung des Volumenstromes kann statisch verringert werden, zum Beispiel durch Absperrhähne, oder dynamisch durch ansteuerbare Massendurchflussregler. • Wellenform: dieses Tacton beschreibt die taktile Codierung von Informationen durch verschie- dene Wellenformen wie zum Beispiel Sinus-, Rechteck-, Dreieck-, oder Sägezahnschwingung. Die Ausgabe dieses Freiheitsgrades mit Luft kann durch einen ansteuerbaren Massendurch- flussregler geschehen. • Rhythmus: durch die Kombination unterschiedlich langer Stimuli in ein Symbol können taktile Ausgaben codiert werden. Ein sehr bekanntes Rhythmusbeispiel zur Codierung von Buchstaben, Zahlen und vielen Zeichen ist dabei der Morsecode mit den drei Zeichen lang, kurz und Pause. Diese Zeichen lassen sich mit einem Magnetventil und einer Ausgabedüse durch Luft ausgeben. • Körperstellen: dieses Tacton beschreibt die taktile Ausgabe an verschiedenen Stellen des Körpers. Die Ausgabe kann dabei zum Beispiel an der rechten und linken Hand erfolgen um die Richtung in einer Navigationsaufgabe zu codieren. Für die Ausgabe mit Luft stehen zwei Möglichkeiten zur Verfügung. Es können mehrere Magnetventile und Düsen verwendet werden, oder es wird eine bewegliche Plattform geschaffen die durch Servos bewegt wird und verschiedene Körperstellen über ein Magnetventil und eine Düse anblasen kann. • Raum-Zeitliche Muster: für dieses Tacton werden Informationen über taktile Muster an den Benutzer übertragen. Die Unterscheidung zum Körperstellen-Tacton ist dabei, dass es sich bei 26 3.3. Codierung von Informationen durch taktiles Feedback den Mustern um möglichst kontinuierliche Ausgaben handelt. Die Muster könnten beispiels- weise in Buchstabenform sein oder strichförmig, um die Richtung in einer Navigationsaufgabe anzugeben. Die Realisierung dieses Tactons durch Luftausgabe kann durch mehrere stati- sche Magnetventile und Düsen erfolgen oder dynamisch mit einem Magnetventil und einer beweglichen Düse. 3.3.2. Taktile Kontextvermittelung In der Arbeit von Heikkinen et al.[HRO+11] wird über taktiles Feedback der Kontext von Nachrichten übertragen. Die Codierung der vibrotaktilen Nachrichten basiert auf einer Vorstudie, in welcher die Eingaben von Probanden analysiert und ausgewählt wurden. Die Benutzer können durch Hin- zufügen von taktiler Ausgabe bei Nachrichten auf kontextuelle Dinge schließen. Dazu gehört die Wichtigkeit einer Nachricht sowie der freundliche Hintergrund in einer Nachricht. Ausschließlich taktile Nachrichten können jedoch auch mehrdeutig sein und es ist erforderlich, die Emotionalität und den tatsächlichen Inhalt der Nachricht, zum Beispiel in textueller Form, zu übermitteln. Die Kombination von textuellen und taktilen Inhalten einer Nachricht erscheint deshalb sinnvoll. Diese Art der Kopplung hat gegenüber der Kopplung mit Audio-Inhalten den Vorteil weniger aufdringlich zu sein. Für die Probanden in dieser Studie sollte die taktile Nachrichtenunterstützung einen Mehrwert an Informationen in der Nachricht bedingen. In der Arbeit von Tsalamlal et al. [TOMA13] werden verschiedenen Arten von Luftausgaben auf die erzeugte Emotion hin untersucht. Dabei zeigt sich, dass größere Volumenströme, also höhere Intensität bei der Ausgabe, und schnellere Bewegungen als erregend und dominant empfunden werden. Kleine Volumenströme und langsame Bewegungen werden dagegen als angenehmer empfunden als große Volumenströme oder statische Stimulationen. 27 4. Luft-Prototyp Der erstellte Prototyp zur Luftausgabe besteht aus der Hardware zur Druckluftabgabe und einer selbst entwickelten Softwarebibliothek zur Steuerung. Ein wichtiges Ziel bei der Analyse und Konzeption des Prototyps war die vielseitige Einsetzbarkeit und Erweiterbarkeit von diesem. Der Prototyp dient als Grundlage für die im weiteren Verlauf der Arbeit durchgeführten Versuche sowie als die notwendige Plattform für die verschiedenen Iterationsschritte zur Entwicklung geeigneter Luftfeedback-Methoden. Die Abbildung 4.1 zeigt den schematischen Aufbau des Prototyps. Abbildung 4.1.: Die schematische Darstellung des Luft-Prototyps und seiner Komponenten. 29 4. Luft-Prototyp 4.1. Hardware In diesem Abschnitt wird die eingesetzte und zum Teil selbst erstellte Hardware beschrieben. Die Abbildung 4.2 zeigt die Ansicht auf den Prototyps von oben. Nicht zu sehen sind Kompressor, Netzteil und Düsen. Abbildung 4.2.: Sicht von oben in das Gehäuse des generischen Prototyps. Die Druckluft vom Kompressor liegt auf dem weißen Verteiler (links) an und geht über die grauen Magnetventile (oben) zur Ausgabe durch die schwarzen Luftleitungen zu den Düsen (rechts). Die Schaltungen und der Arduino sind auf der Bodenplatte verbaut. 4.1.1. Kompressor Als Druckluftquelle wird ein Airbrush-Kompressor verwendet. Die Abgabe der Druckluft erfolgt stufenlos im Bereich von 0 bis 6 bar über einen regulierbaren Druckluftminderer. Der Kompressor verfügt zudem über eine An/Abschaltautomatik im Bereich von 2-6 bar. Direkt an den Kompressor ist ein 3,5 Liter Drucklufttank (siehe Abbildung 4.3) zur Sicherstellung von Pulsationsfreiheit angeschlos- sen, was bei einer Füllung bei 4 bar etwa 14 Liter Druckluft entspricht und die Durchführung von Benutzerstudien ohne störende Laufgeräusche des Motors ermöglicht. Die technischen Daten des Kompressors sind wie vom Hersteller angegeben in Tabelle 4.1 aufgeführt. 30 4.1. Hardware Typ Zwei-Kolbenkompressor, ölfrei Leistung 1/4 PS (190 W) Druckeinstellbreich 0-6 bar An/Abschaltautomatik 2 bar An, 6 bar Aus Lautstärke (ungedämpft) ca. 47dB. Tabelle 4.1.: Die technischen Daten des Kompressors. (a) Die Ansicht auf Manometer und Arbeitsdruckreg- ler des Kompressors. Der untere schwarze Behälter ist der Drucklufttank. (b) Die Box zur Schalldämpfung durch Akustik- schaumstoff. Abbildung 4.3.: Der Kompressor als Druckluftquelle wird zur Schalldämmung in einer mit Akustik- schaumstoff ausgekleideten Kiste untergebracht. 4.1.2. Schaltungen Zum Schalten der Magnetventile werden Transistor-Verstärkerschaltungen eingesetzt. Diese dienen zur Stromversorgung über eine externe Stromquelle und schützen den Mikrocontroller vor indu- zierten Strömen durch die verwendeten Magnetventile. Für jedes Magnetventil wird eine separate 31 4. Luft-Prototyp Verstärkerschaltung benötigt. Im Prototyp sind deshalb 6 Schaltungen verbaut. Der Schaltplan und eine fertig gelötete Schaltung ist in Abbildung 4.4 zu sehen. (a) Der Schaltplan für die Verstärkungsschaltung zur Steuerung der Magnetventile. (b) Die Verstärkerschaltung zur Steuerung der Ma- gnetventile Abbildung 4.4.: Der Schaltplan der Magnetventile und eine fertig gelötete Schaltung. 4.1.3. Magnetventile Druckluft-Magnetventile bestehen grundsätzlich aus einem Elektromagneten und einem Ventilkörper mit mehreren Anschlüssen. Je nachdem, ob das Magnetventil im nicht angesteuerten Zustand offen oder geschlossen ist, wird zwischen NO (normal open) und NC (normal closed) unterschieden. Wird der Elektromagnet in der Folge angesteuert, also von Strom durchflossen, wechselt der Zustand des Magnetventils. Die verwendeten Magnetventile vom Typ CEME 5000EN1,5P benötigen 12 V bei einer Stromaufnahme von 100mA und sind NC. Die Schlauchanschlüsse haben einen Durchmesser von 5 mm. Die Schaltzeit beträgt pro vollständiger Zustandsänderung etwa 10 ms. Halboffene Zustände sind bei diesen direktgesteuerten Magnetventilen nicht vorgesehen. Technisch und durch Abnutzung bedingt kann die Schaltzeit auch variieren. 4.1.4. Düsen Eine Düse ist die Verengung eines Rohrquerschnittes und bewirkt die Geschwindigkeitserhöhung eines Fluides wie zum Beispiel der Luft. Die austretende Luft hat die Form eines Kegels; mit zunehmenden Abstand wird der Durchmesser größer. 32 4.1. Hardware (a) Der Durchmesser des Luftkegels wird mit die- sem in Streifen geschnittenen Papier bestimmt. Jeder Papierstreifen ist 0,5 cm breit. (b) Eine Düse mit 1,5 mm Innendurchmesser gefer- tigt mit einem 3D-Drucker. Abbildung 4.5.:Mit den Messstreifen konnte die Charakteristik der Düsen getestet werden. Die im Prototyp eingesetzten Düsen sind mittels einem 3D-Drucker und dem Programm Autodesk Inventor1 angefertigt. Sie besitzen einen Innendurchmesser von 1,5 mm und verbrauchen bei einem Arbeitsdruck von 1 bar 0,057 l/s und bei 2 bar 0,117 l/s Luft. Der Durchmesser des Luftkegels wurde anhand einer Messung, wie in Tabelle 4.2 dargestellt, ermittelt. Zur Messung des Luftkegeldurchmes- sers wurde ein Din-A4-Blatt in Streifen geschnitten und in den entsprechenden Abständen über die aktive Düse gehalten. Durchmesser Luftkegel (cm) 1 2 3 4 5 6 7 Abstand zur Düse (cm) 2,3 6,9 11,5 16,0 20,6 25,2 29,7 Tabelle 4.2.: Durchmesser des Luftkegels in Relation zum Abstand bei 1 bar Arbeitsdruck. 4.1.5. Servos Die Ausgabe der Luft soll auch mit dem Freiheitsgrad Raum-Zeitlich, im folgenden Muster genannt, erfolgen. Zu diesem Zweck können zwei Servos vom Mikrocontroller angesteuert werden. Jeder der beiden Servos vertrimmt eine Achse, jedoch ist einer der Servos fest auf der Drehachse des Anderen montiert. Diese Konstruktion wird im folgenden Servo-Plattform genannt. Konstruktionsbedingt lassen sich die Achsen jeweils von -35◦ bis +35◦ einstellen. Die Servos benötigen 5 V Versorgungsspan- nung, die durch einen vorgeschalteten Festspannungsregler erzeugt werden. Die Ansteuerung der Servos erfolgt durch ein analoges PWM-Signal, das durch die Standard „Servo-Library“ des Arduinos 1Autodesk Inventor - *http://www.autodesk.de/products/autodesk-inventor-family/overview 33 4. Luft-Prototyp erzeugt wird. Dabei entspricht die Mittelposition, also der Luftstrahl nach oben, einem Winkel von jeweils 90◦ an beiden Servos. 4.1.6. Mikrocontroller Zur Steuerung der Magnetventile und der beiden Servos wird ein Arduino Uno eingesetzt. Die Kommunikation zur Ansteuerung mit der Software Library erfolgt mittels USB. Der Arduino Uno besitzt 14 digitale IO Pins, wovon 6 PWM-moduliert werden können. Die Ausgabepins werden bei 5 V und maximal 40 mA betrieben. Aus diesem Grund wird eine externe Stromquelle für die Servos und Magnetventile verwendet. Statemaschine Die Grundlage der Software auf dem Arduino stellt eine Statemaschine (Zustandsautomat) dar. Eine Statemaschine ist ein sehr gutes Konzept, um die Übersichtlichkeit und Erweiterbarkeit von Pro- grammen auf Mikrocontrollern zu steuern. Sie kann als zusammenhängender Graph mit gerichteten Kanten dargestellt werden. Ein Knoten entspricht einem Zustand auf dem Mikrocontroller, eine Kante stellt die Transition von einem Zustand in einen Anderen dar. Eine Statemaschine wird mit einer Taktung betrieben und kann nicht zu beliebiger Zeit auf Eingaben reagieren. In jedem Takt wird mit dem aktiven Zustand und dem Status der Eingabekanäle der nächste Zustand und die auszuführenden Aktionen ermittelt. Die auf dem Luft-Prototyp eingesetzte Statemaschine wird über eine globale Zustandsvariable (int state) gesteuert, die für jeden Zyklus auf dem Mikrocontroller über ein switch(state) den aktiven Zustand ermittelt. Die Beschreibung des Protokolls erfolgt in Abschnitt Protokoll 4.2.1 34 4.2. Software Bibliothek Abbildung 4.6.: Die Statemaschine mit den Zuständen Receive, Transmit, Switch und Reset sorgt für Erweiterbarkeit und Übersichtlichkeit der Software auf dem Mikrocontroller. Die Kommunikation mit dem Mikrocontroller erfolgt durch das in Abschnitt 4.2.1 spezifizierte Protokoll. 4.2. Software Bibliothek Als Schnittstelle zur Hardware wird eine in C# geschriebene Bibliothek verwendet. Die Bibliothek ver- waltet die Verbindung zum Mikrocontroller, beinhaltet die verschiedenen Luftausgabemöglichkeiten sowie die mathematischen Elemente zur Steuerung der Handverfolgung. Der Aufbau der Bibliothek folgt dem Ansatz der Objektorientierung und ist auf Erweiterbarkeit ausgelegt. Im folgenden Kaptitel werden die zentralen Namespaces Protokoll, Aircons, Pattern und Handverfolgung vorgestellt. Des Weiteren wird die durch die MainClass für Anwendungen sichtbare Funktionalität dargelegt. 4.2.1. Protokoll Das Protokoll zur Steuerung des Mikrocontrollers wird durch Klassen ermöglicht, die das Interface IConnection implementieren. Dabei kann in der erbenden Klasse der Kommunikationskanal, wie serielle Verbindung oder Bluetooth, frei gewählt werden wenn die durch das Interface vorgegebenen Methoden implementiert werden. Das Protokoll benötigt für jeden Funktionsaufruf 4 Byte. Das erste Byte ist für die Codierung des Befehls reserviert, es folgen zwei Datenbytes sowie ein Endbyte. Die Codierung eines Befehls erfolgt durch ein ASCII-Zeichen. Dabei ist zu beachten, dass das Endbyte dem ASCII-Zeichen „;"(59) entspricht. Der Vorteil dabei ist die gute Verständlichkeit und Lesbarkeit des Protokolls. 35 4. Luft-Prototyp Befehl Datebyte 1 Datenbyte 2 Funktion ’A’ Magnetventile 1-8 Magnetventile 9-16 Registrierung der Magnetventile ’B’ Magnetventile 1-8 Magnetventile 9-16 Schalten der Magnetventile ’C’ - - Identifizierung des Mikrocontrollers ’S’ Zustand Magnetventilnummer Schalte Magnetventil auf Zustand ’R’ - - Zurücksetzen des Mikrocontrollers ’X’ Servowinkel X Servowinkel Z Servowinkel einstellen Tabelle 4.3.: Das Protokoll zur Kommunikation zwischen Softwarelibrary und Mikrocontoller. Registrierung der Magnetventile (Befehl A) Die Registrierung der angeschlossenen Magnetventile erfolgt über den Befehl A. Auf dem Mikrocon- troller ist es notwendig den Modus für die Pins auf INPUT oder OUTPUT zu stellen. Für die Steuerung der Magnetventile müssen demnach die entsprechenden Ports auf OUTPUT gestellt werden. Dabei werden die beiden Datenbytes zusammengefasst als eine Binärfolge aufgefasst, wobei die Stelle von vorne betrachtet dem zu registrierenden Port auf demMikrocontroller entspricht. Der nächste Zustand der Statemaschine ist Reset. Steuerung der Magnetventile (Befehl B und S) Die Steuerung der Magnetventile und der beiden Servos erfolgt über die beiden Datenbytes. Zur Steuerung der Magnetventile sieht das Protokoll die Befehle B und S vor. Mit Befehl B können mehrere Magnetventile gleichzeitig geschalten werden, indem die Zustände der Magnetventile in den zwei Datenbytes binär codiert übertragen werden. Die beiden Datenbytes werden hierzu zusammen gefasst betrachtet und die von vorne gezählten Bits entsprechen dem gewünschten Schaltzustand der Magnetventile. So entspricht zum Beispiel die Datenreihe der beiden Datenbytes 10000000 00000010 der Schaltung von Magnetventil 1 und 15 auf Luftdurchlässigkeit, während die Magnetventile 2-14 und 16 ausgeschaltet sind. Die zweite Möglichkeit ist die Änderung eines einzelnen Magnetventils mittels Befehl S. Dabei wird im ersten Datenbyte der Zustand, also ein oder aus, und im zweiten Datenbyte das entsprechende Magnetventil gesendet. Der nächste Zustand auf der Statemaschine ist Switch. Identifizierung des Mikrocontrollers (Befehl C) Dieser Befehl stellt eine Anfrage zur Identifizierung an den Mikrocontroller. Somit wird beim Er- stellen der Verbindung geprüft ob die Adressierung, zum Beispiel „COM3“ bei USB, stimmt. Der Mikrocontroller antwortet auf den Befehl C mit seiner Kennung. Der Folgezustand ist Transmit. 36 4.2. Software Bibliothek Mikrocontroller zurücksetzen (Befehl R) Das Zurücksetzen des Mikrocontrollers erfolgt über den Befehl R. Bei diesem Befehl gibt es keine Parameter. Beim Zurücksetzen wird der Ausgabepuffer gelöscht, der Modus der Ports gesetzt sowie die Servos auf die Mittelposition zurückgesetzt. Der Folgezustand der Statemaschine ist Switch. Servowinkel stellen (Befehl X) Das Stellen der Servowinkel erfolgt über Befehl X. Das erste Datenbyte enthält den Winkel für den Servo der X-Achse, das zweite Datenbyte den Winkel für die Z-Achse. Die Winkel der Servos können zwischen -35◦ bis +35◦ liegen. Deshalb wird vor der Übertragung ein Offset von +35◦ auf die Winkel addiert welcher vom Mikrocontroller wieder abgezogen wird. Diese einfache Lösung ermöglicht die Übertragung der Winkel mit jeweils nur einem Byte. Die übertragenen 0◦ der Mittelposition entsprechen, wie in Servos 4.1.5 angegeben, 90◦ in der Ausgabe durch die Servo-Library. Aus diesem Grund addiert der Mikrocontroller bei Empfang eines Befehls X auf jeden Servowinkel 55◦. (90◦ - 35◦ = 55◦) Der Folgezustand der Statemaschine ist Transmit. 4.2.2. Namespace Aircon Mit den verwendeten Magnetventilen lassen sich lediglich zwei Zustände darstellen: Luft an oder aus. Zur Erweiterung dieser atomaren Zustände wird in der Softwarebibliothek die Zeit hinzugefügt. Somit lassen sich die Tactons Dauer und Frequenz, wie in Abschnitt 3.3.1 eingeführt, darstellen. Die zusätzliche Informationscodierung durch ein Muster erfolgt durch Vererbung der Klassen Dauer und Frequenz in die Klassen DauerBody und FrequenzBody. Dabei werden zusätzlich die Informationen über Stellungswinkel der Servos übergeben. In Anlehnung an die Namensgebung von Tactons werden die verschiedenen Ausgabemuster im Folgenden Aircons genannt. IAircons Die Ausgabe von Luftsignalen erfolgt in der Software durch das Starten eines Threads, welcher auf einem Objekt einer von IAircon abgeleiteten Klasse beruht. Das Interface IAircons stellt die grundlegenden Methoden zum Erstellen, Ausführen, Beenden, Serialisieren und Deserialisieren einer Luftausgabe bereit. Dauer Die Klasse Dauer implementiert das Interface IAircons und ein Objekt davon stellt eine Luftausgabe über eine wählbare Zeitspanne dar. Parameter der Luftausgabe sind der anzuschaltende Magnet- ventilport auf dem Mikrocontroller sowie die gewünschte Zeit in Millisekunden. Beim Starten der Luftausgabe wird der Ausgabethread gestartet und das Magnetventil angeschaltet. Daraufhin schläft der Thread für die angegebene Zeit und beendet anschließend die Luftausgabe. Ein Spezialfall ist eine 37 4. Luft-Prototyp Ausgabedauer von 0 Sekunden. In diesem Fall erfolgt die dauerhafte Luftausgabe bis zur Abschaltung durch die von IAircon vorgegebene stop()-Methode. Frequenz Ein Objekt der von dem Interface IAircons erbenden Klasse Frequenz stellt die Ausgabe einer wähl- baren Frequenz über eine wählbare Zeitspanne dar. Die Parameter beim Erzeugen eines Frequenz- Objektes ist die Frequenz, angegeben über eine Anzeit und Auszeit oder einer Frequenz in Hertz, der gewünschte Magnetventilport und die Zeitspanne der Ausgabe. Die Ausgabe einer Frequenz wird über die vom Interface vorgegebene start()-Methode gestartet. Daraufhin wird für die angegebene Anzeit das entsprechende Magnetventil auf Durchlässigkeit geschaltet. Nach Ablauf der Auszeit wird geprüft ob die eingestellte Zeitspanne der Frequenzausgabe überschritten wurde oder noch weitere Frequenzausgaben erfolgen sollen. DauerBody und FrequenzBody Die Klasse DauerBody erbt von der Klasse Dauer, während FrequenzBody von Frequenz erbt. Damit implementieren diese beiden Klassen implizit das Interface IAircons. Die beiden Klassen erweitern die jeweilige Oberklasse neben der Ausgabe ihrer jeweiligen atomaren Ausgaben, also Dauer und Frequenz, durch die Möglichkeit, die Servos zu verstellen. Dafür benötigen die Objekte bei der Instanziierung eine Liste mit den gewünschten Servowinkeln sowie die Verzögerung zwischen den Ausgaben dieser Winkel. Da die Winkel für Servos, wie unter Protokoll 4.2.1 angegeben, nur jeweils paarweise übertragen werden können, ist jeder gerade Index eine Winkelangabe für den Servo der X- Achse und jeder ungerade Index eine Winkelangabe für den Servo der Z-Achse. Die Geschwindigkeit der Ausführung entspricht normalerweise der Zeitspanne der Ausgabe von Dauer oder Frequenz, lässt sich jedoch auch beliebig wählen. Die geerbte Methode play() der Oberklasse wird überschrieben durch eine Methode, die zum einen die Ausgabe der Basisklasse startet, und zum anderen einen weiteren Thread zur Ausgabe der Servoliste erstellt und startet. 4.2.3. Namespace Pattern Der Namespace Pattern beinhaltet die Funktionalität zum Zusammenfügen, Serialisieren, Deseria- lisieren und Ausführen verschiedener Kombinationen von Aircons. So lassen sich die in Abschnitt Tactons 3.3.1 vorgestellten komplexen Aircons ausgeben. Pattern Über die Klasse Pattern können mehrere Aircons kombiniert werden. In einem Objekt der Klasse Pattern wird deshalb eine Liste mit den gewünschten IAircons und zugehöriger Startzeit gespeichert. Die Reihenfolge und der Zeitpunkt der Ausführung der Aircons wird über einen internen Schedule geregelt. In diesem Schedule sind die Aircons vom Start bis zum Ende der Ausgabe sortiert und 38 4.2. Software Bibliothek können somit einfach wiedergegeben werden. Zusätzlich kann ein Pattern in eine XML-Datei, über entsprechende Serialisierung und Deserialisierung, gespeichert oder geladen werden. Pattern Interpreter Die tatsächliche Ausführung von Patterns und den dazugehörigen Aircons erfolgt durch die Klasse PatternInterpreter. Der Pattern Interpreter beinhaltet die derzeit vom Prototyp ausgegebenen Aircons sowie Methoden um die Wiedergabe eines Patterns zu starten und zu beenden. Zur Wiedergabe eines Patterns über die Methode playPattern (Pattern playPattern) wird ein Thread angelegt. In diesem Thread wird der zum Pattern gegebene Schedule mit allen Aircons zur angegebenen Zeit ausgegeben. Falls die Ausgabe derzeit abgespielter Aircons beendet werden soll, können die aktiven Aircons und deren Threads mit der Methode stopPattern() beendet werden. 4.2.4. Namespace Handverfolgung Der Namespace Handverfolgung enthält die Funktionalität um den Luftstrahl der Düse auf der Servo- Plattform in Richtung eines Punktes im Raum, zum Beispiel die Hand eines Benutzers, zu richten. Beim Starten der Handverfolgung muss die Position der Servo-Plattform übergeben werden. Der Punkt auf welchen die Düse im Raum zeigen soll kann durch Setzen eines Hand-Objektes geändert werden. Solange die Handverfolgung gestartet ist, berechnet ein Thread alle 50 ms die Stellwinkel der Servos und schickt diese zum Mikrocontroller. Durch diese feste Updaterate wird die Erhebung der Koordinaten von der Berechnung und Ausgabe getrennt und verhindert das Überlaufen von Empfangsbuffern auf dem Mikrocontroller oder Überlastungen des Kommunikationskanals. Berechnung Die Berechnung der Stellwinkel erfolgt durch die Klasse Calculation. Dabei werden die beiden Winkel für die X-Achse und Y-Achse getrennt durch trigonometrische Funktionen berechnet. Über die Koordinaten der Servo-Plattform und der Koordinaten des Punktes im Raum wird ein rechtwinkliges Dreieck erstellt. Die Gegenkathede des gesuchten Winkels ist die Strecke zwischen der X oder Z- Koordinate des Punktes im Raum zur X oder Z-Koordinate der Servo-Plattform. Die Ankathede ist die Strecke zwischen den Y-Koordinaten von Servo-Plattform und einen Punkt im Raum. Die Hypothenuse dieses Dreiecks entspricht der Strecke von der Servo-Plattform bis auf den zu zielenden Punkt im Raum. Der gesuchte Stellwinkel ist somit: α = arctan(Gegenkathede/Ankathede) 4.2.5. MainClass Die Mainclass ist die für Anwendungen sichtbare Programmierschnittstelle zur Library. Um die Libra- ry verwenden zu können muss ein Objekt der MainClass erstellt werden. Alle weiteren Befehle an die 39 4. Luft-Prototyp Library können dann über die öffentlichen Methoden auf diesem Objekt aufgerufen werden. Bei der In- stanziierung des MainClass Objektes kann ein Delegat vom Typ ArduinoAirLib.LogCallbackFunction übergeben werden um die Statusmeldungen der Bibliothek und des Arduinos zu empfangen. Um die Verbindung zum Arduino herzustellen muss auf dem MainCLass-Objekt die Methode ConnectUSB (string Portnummer) aufgerufen werden. Die Antwort auf den Verbindungsversuch durch die Biblio- thek wird asynchron durch das LogCallbackFunction-Delegat übertragen. Die kommentierte Klasse befindet sich im Anhang: MainClass A.1. 40 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade Die Vorstudie wird durchgeführt um Erfahrungen über die Möglichkeiten von Luft-taktilem Feedback für Menschen zu erforschen. Die durchgeführten Versuche orientieren sich an den von Brewster eingeführten Freiheitsgraden der Tactons [BB04]. Die Wahl der zu betrachtenden Freiheitsgrade unterliegt der Analyse und Bewertung bezüglich der Anwendungsmöglichkeiten für Luft-taktiles Feedback. Die Verhinderung von Störeinflüssen, wie die akustische Wahrnehmung der austretenden Luft, spürbare Vibrationen beim Schalten der Magnetventile oder visuell wahrnehmbare Änderungen wie die Bewegung der Luftdüse durch die Servos, respektive das Verbiegen des Schlauches durch die Druckluft, erfordern spezielle Vorbereitungen. Die akustische Wahrnehmung lässt sich durch das Tragen von einem speziellen Noise-Canceling Headset und zusätzlicher musikalischer Beschallung sehr gut eliminieren, erschwert jedoch die nötige Kommunikation zwischen Studienleiter und Proband erheblich. Aus diesemGrundmuss dem Proband die Frage und der Zeitpunkt der Antwort im laufenden Versuch in visueller Form durch eine Ausgabe im Testprogramm präsentiert werden. Zusätzlich ist es notwendig, den aktuellen Fortschritt und das Ende eines Versuchs anzuzeigen. Die Verhinderung von visuellen Einflüssen geschieht durch die Anbringung von Sichtschutz an den kritischen Stellen des Aufbaus, die durchdachte Verlegung der Luftschläuche sowie der Herstellung eines speziellen Gehäuses für die Servos. Dieses aus Sperrholz gefertigte Gehäuse dient zudem der Festlegung der Distanz von Düsen und Handfläche auf 20 cm. Zur Verhinderung der spürbaren Störeinflüssen wird der Prototyp und die Hand des Probanden in ausreichender Art und Weise entkoppelt. Das Gehäuse mit den Prototyp, der Kompressor und die Unterlage der Servos sind mit Karton und Schaumstoff vom Tisch und Boden getrennt. Die Hand der Probanden wird zusätzlich durch eine Schaumstoffablage von der Testapparatur entkoppelt. Der gesamte Aufbau ist in Abbildung 5.2 dargestellt. Alle Versuche sind über das in Abbildung 5.1 dargestellte C# Programm durchführbar. Die Reihenfolge der Versuche ist randomisiert. Jeder Versuch läuft nach dem gleichen Prinzip ab: den Probanden wird zunächst vor einem Versuch die Aufgabe erklärt, er setzt den Kopfhörer auf und legt die Hand auf die Versuchsapparatur. Der Studienleiter startet das Programm und nach einem kurzen Countdown bekommt der Proband die entsprechenden Luftstimuli präsentiert. Die Antwortmöglichkeiten werden über nummerierte Buttons auf der Oberfläche des Programms angezeigt. Die Eingabe der Antwort erfolgt durch den Studienleiter, indem der Proband den Text oder die Nummer des entsprechenden But- tons angibt, woraufhin der Studienleiter die entsprechende Eingabe macht. Mit dieser Vorgehensweise soll eine Ablenkung des Probanden durch die Eingabe minimiert werden. 41 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade Abbildung 5.1.: Das Ein- Ausgabeprogramm der Studie. Im ersten Tab werden die personenbezoge- nen Daten erfasst. In der Studie sind die verschiedenen Aufgaben über die einzelnen Tabs erreichbar und müssen vom Studienleiter gestartet werden. Der Proband hat die Möglichkeit zu antworten, sobald der Fragetext erscheint. Abbildung 5.2.: Der Aufbau der Vorstudie im Überblick. Das Ausgabeprogramm mit den Ant- wortmöglichkeiten (links), der Kompressor (hinten Mitte), der Prototyp (hinten rechts), die Hand eines Probanden entkoppelt durch Schaumstoff auf der Holzturm- Testapparatur (vorne). 42 5.1. Aufgaben 5.1. Aufgaben Im folgenden Abschnitt werden die Aufgaben sowie der Ablauf der einzelnen Versuche der Studie erläutert. Es werden die Freiheitsgrade Dauer, Frequenz und Muster mit verschiedenen Methoden durchleuchtet. Insgesamt umfasst die Studie 5 Versuche. 5.1.1. Minimale Dauer Der erste Versuch bei der Dauer testet die minimale spürbare Dauer sowie die Unterschiede bei der Wahrnehmung des Luftstrahls zwischen Handfläche und Handrücken. Zu diesem Zweck wird der Versuch zwei mal durchgeführt, wobei die Probanden zufällig ausgewählt einmal mit dem Handrücken und im anderen Fall mit der Handfläche starten. Pro Durchlauf werden 6 Luftstöße unterschiedlicher Dauer auf die Hand geblasen. Die Dauer der Luftstöße sind 10 ms, 20 ms, 30 ms, 40 ms, 50 ms, 80 ms und 100 ms. Des Weiteren gibt es 18 mal keinen Luftstoß. Die Antwortmöglichkeiten sind „1. Keine Luft“ und „2. Luftstoß“. 5.1.2. Dauer JND Die Untersuchung der JNDs (just noticeable differences) soll Aufschluss über die Möglichkeiten zur Codierung von Informationen über verschieden lange Luftstöße geben und wie groß der Unterschied der Luftstöße mindestens sein muss um von Benutzern gut unterschieden werden zu können. Der Test für die JNDs bei der Dauer wird blockweise durchgeführt. Wie in Tabelle 5.1 ersichtlich, gibt es den Block von 200 ms mit dem Testintervall von 100 ms bis 300 ms und den Block von 400 ms mit dem Testintervall von 300 ms bis 500 ms. Die Abstufung der Zeit im Testintervall ist 20 ms und wird jeweils einmal ausgegeben. Die Dauer des Blocks, also 200 ms im 200er-Block, wird 5 mal ausgegeben. In den einzelnen Test wird jeweils der Blockwert als Referenz ausgegeben. Nach dem Abwarten einer einsekündigen Pause wird ein zufälliger Testwert aus dem Testintervall ausgegeben. Die Probanden haben die Wahl zwischen den Antworten „1. Länger“, „2. Gleich“ und „3. Kürzer“. Referenzwerte (ms) Testwerte (ms) Block: 200 100 120 140 160 180 200 220 240 260 280 300 Block: 400 300 320 340 360 380 400 420 440 460 480 500 Häufigkeit 1 1 1 1 1 5 1 1 1 1 1 Tabelle 5.1.: Die Blockwerte und Testwerte für den Versuch Dauer JNDs. 5.1.3. Maximale Frequenz Die Zielsetzung dieses Versuches ist das Finden der maximalen spürbaren Frequenz. Durch das Verhalten der Luftmoleküle und den technischen Gegebenheiten des Prototyps, insbesondere den Eigenschaften der Magnetventile, fühlt sich eine größere Frequenz wie ein dauerhafter Luftstrahl an. Die Ausgabe der in Tabelle 5.2 angegebene Werte erfolgt in zufälliger Reihenfolge und es wird jeder 43 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade Wert 5 Sekunden lang ausgegeben. Anschließend muss der Proband entscheiden ob es sich bei der Ausgabe um eine Frequenz oder eine dauerhafte Luftausgabe handelt. Die Antwortmöglichkeiten sind „1. Dauer“ und „2. Frequenz“. Ausgabe 50 Hz 25 Hz 17 Hz 12 Hz 10 Hz 7 Hz 5 Hz Dauer Häufigkeit 1 1 1 1 1 1 1 21 Tabelle 5.2.: Versuch Maximale Frequenz: Die getesteten Frequenzen und deren Häufigkeit 5.1.4. Frequenz JND Die mit Frequenzen übertragbare Informationsdichte ist abhängig von der darstellbaren niedrigsten bis zur höchsten Frequenz und den minimal wahrnehmbaren Unterteilungen des Frequenzbandes. Zum Testen dieser JNDs wird auf die Hand der Probanden zunächst die Referenzfrequenz für 3 Sekunden ausgegeben. Nach einer einsekündigen Pause folgt eine Testfrequenz für 3 Sekunden, worauf die Probanden im Anschluss auf den gefühlten Unterschied antworten. Die Antwortmöglichkeiten sind „1. geringere Frequenz“, „2. gleiche Frequenz“ und „3. höhere Frequenz“. Abstufungen der Testfrequenzen sind prozentuale Änderungen zur jeweiligen Referenzfrequenz und sind in Tabelle 5.3 aufgetragen. Referenzwert 1 Hz 5 Hz 9 Hz 13 Hz % +% (Hz) -% (Hz) +% (Hz) -% (Hz) +% (Hz) -% (Hz) +% (Hz) -% (Hz) 0 1,00 1,00 5,00 5,00 9,00 9,00 13,00 13,00 3 1,03 0.97 5,15 4,85 9,27 8,73 13,39 12,61 6 1,06 0,94 5,30 4,70 9,54 8,46 13,78 12,22 9 1,09 0,91 5,45 4,55 9,81 8,19 14,17 11,83 15 1,15 0,85 5,75 4,25 10,35 7,65 14,95 11,05 20 1,20 0,80 6,00 4,00 10,80 7,20 15,6 10,40 35 1,35 0,65 6,75 3,25 12,15 5,85 17,55 8,45 50 1,50 0,50 7,50 2,50 13,50 4,50 19,50 6,50 100 2,00 - 10,00 - 18,00 - 26,0 - Tabelle 5.3.: Die Referenz- und Testwerte der JNDs. Die Testwerte sind prozentuale Änderungen der Referenzwerte. 5.1.5. Muster In diesem Versuch werden verschiedene Muster in verschiedenen Größen auf die Hand der Probanden ausgegeben. Das Hauptziel ist das Finden von gut identifizierbaren Mustern und die Frage, wie gut diese Muster unterschieden werden können. Über die Ergebnisse können Rückschlüsse auf die darstellbare Auflösung und die Möglichkeiten der Infomationscodierung durch Muster geschlossen werden. Die in Tabelle 5.4 angegebenen Muster werden in zufälliger Reihenfolge ausgegeben. Jedes Muster ist ein DauerBody Aircon wie in Kapitel 4.2.2 spezifiziert. Nach jeder Musterausgabe müssen 44 5.1. Aufgaben die Probanden das gefühlte Muster aus einer Liste wählen. Wie in Abbildung 5.3 dargestellt sind nur die Grundmuster als Antwortmöglichkeit angegeben, die Größe ist nicht zu bewerten. Die Antwortmöglichkeiten sind „1. Kreis„, „2. Mitte„, „3. Dreieck“, „4. Strich Oben„, „5. Strich Links“, „6. Strich Unten“ und „7. Strich Rechts“. Muster Eigenschaft Häufigkeit Kreis Durchmesser 2 cm 2 Kreis Durchmesser 3 cm 2 Kreis Durchmesser 4 cm 2 Mitte Konstanter Luftstrom auf die Handmitte 4 Dreieck Kantenlänge 6 cm 2 Dreieck Kantenlänge 8 cm 2 Dreieck Kantenlänge 12 cm 2 Strich Oben Von den Fingerspitzen zur Handwurzel 2 Strich Links Von der linken Handseite zur Rechten 2 Strich Unten Von der Handwurzel zu den Fingerspitzen 2 Strich Rechts Von der rechten Handseite zur Linken 2 Tabelle 5.4.: Die Testmuster, deren Eigenschaften und Ausgabehäufigkeiten. Abbildung 5.3.: Die Muster auf der Hand. Rot - Kreis, schwarz - Mitte, grau - Dreieck, blau - StrichOben/StrichUnten, gelb - StrichLinks/StrichRechts. 45 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade 5.1.6. Abschlussfragebogen Am Ende der Studie wird jeder Proband gebeten einen Abschlussfragebogen auszufüllen. Dabei werden allgemeine Fragen zur Studie und Luftfeedback gestellt. Des Weiteren gibt es die Möglichkeit, Anregungen und Kommentare als qualitatives Feedback einzubringen. Die eingesetzten Likert-Skalen haben 5 Punkte. Die Zuordnung ist starke Ablehnung (1), tendenzielle Ablehnung (2), neutral (3), tendenzielle Zustimmung (4) und starke Zustimmung (5). Der Fragebogen ist in Anhang B.1 aufge- führt. 5.2. Probanden Insgesamt haben 15 Probanden an der Vorstudie teilgenommen. Davon waren 3 weiblich und 12 männlich. Die Probanden waren im Durchschnitt 24,9 (Var: 10,78; SD: 3,28) Jahre alt. Der jüngste Proband war 19, der Älteste 30 Jahre alt. Die Führungshand war bei 86% (abs: 13) die rechte Hand. Alle Probanden waren zum Zeitpunkt der Studie Studenten. 5.3. Ergebnisse Die gemessenen Ergebnisse in der Studie sowie die Antworten des Abschlussfragebogens, werden in diesem Abschnitt dargestellt. 5.3.1. Minimale Dauer Über alle Testreihen haben die Probanden 720 mal auf die Frage geantwortet, ob sie Luft spüren oder nicht. Zu diesen Fragen gab es wie in Abschnitt 5.1.1 angegeben, 180 Luftstöße und 540 mal keine Luftausgabe. Diese Angaben teilen sich zu gleichen Teilen auf die Ausgabe an den Handrücken und Handfläche auf. Über alle Versuche wurden von den Probanden insgesamt lediglich 8 Fehler gemacht. Davon entfallen 5 Fehler auf das nicht erkennen eines Luftstoßes (4x10 ms, 1x20 ms) und 3 Fehler auf falsche Positive, also das Fühlen einer Luftausgabe, die nicht stattgefunden hat. Handfläche Bei den insgesamt 360 Luftausgaben an die Handfläche konnten die Probanden insgesamt 357 Ausga- ben richtig erkennen. Bei den drei Fehlern wurde zwei mal der 10 ms Luftstoß nicht erkannt sowie ein Luftstoß erkannt obwohl keine Luft ausgegeben wurde. Die Erkennungsrate des kürzesten Luftstoßes von 10 ms liegt somit bei 86,7%. 46 5.3. Ergebnisse Handrücken Die 360 Luftausgaben auf den Handrücken konnte von den Probanden in 355 Fällen richtig erkannt werden. Die 5 Fehler setzen sich aus drei nicht erkannten Luftstößen (2x10ms und 1x20ms) sowie zwei fälschlicherweise gefühlten Luftausgaben zusammen. Die Erkennungsrate der 10 ms Luftstöße liegt wie bei der Handfläche bei 86,7% und bei 20 ms Luftstößen entsprechend bei 93,3%. 5.3.2. Dauer JND Für jeden der beiden zu testenden Blöcke konnten 375 Messwerte ausgewertet werden. Wie in Ab- schnitt 5.1.2 angegeben entfallen dabei jeweils 75 Ausgaben auf die Antwortmöglichkeit „gleich“, 150 Ausgaben sind „kürzer“ und 150 Ausgaben sind „länger“ als der Referenzwert. Bei der Zusammen- fassung der drei Antwortmöglichkeiten in richtig und falsch, sind die Testwerte bei dem mehr als 50%1 der Probanden einen Unterschied zum Referenzwert des 200 ms-Blocks erkannt haben, bei 150 ms (53,3% richtig) und 280 ms (66,7% richtig). Ausgehend vom Referenzwert sind die JNDs bei den Abweichungen von -25,0% und + 40,0%. Für den 400 ms-Block sind die JNDs bei den Testwerten 330 ms (53,3% richtig) und 490 ms (53,3% richtig). Das entspricht -17,5% und +22,5% Abweichung vom Referenzwert. Die Ausgabe von gleichen Referenz- und Testwerten erkennen im 200 ms-Block 68% der Probanden korrekt, während es im 400 ms-Block 70,7% sind. 5.3.3. Maximale Frequenz In diesem Versuch wurden die Antworten von insgesamt 255 Luftausgaben ausgewertet. Wie in Abschnitt 5.1.3 angegeben, sind 105 Ausgaben Frequenzen von 50 Hz bis 5 Hz. Die restlichen 150 Ausgaben sind dauerhafte Luftstrahlen. Wie in Abbildung 5.4 ersichtlich, wird eine Frequenzausgabe ab 10 Hz von der Mehrzahl der Probanden (60%) erkannt. 1The Free Dictionary: *http://www.thefreedictionary.com/just-noticeable+difference 47 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade Abbildung 5.4.: Die Auswertung der maximalen Frequenz. Auf der x-Achse ist, bis auf den dauerhaf- ten Luftstrahl, die Ausgabe in Hertz aufgetragen. Ab 10 Hertz kann die Mehrzahl der Probanden die Frequenz identifizieren. 5.3.4. Frequenz JND Die Untersuchung der Frequenz-JNDs erfolgt, wie in Abschnitt 5.1.4 angegeben, über den Vergleich der Ausgabe einer Referenzfrequenz mit einer Testfrequenz. Die Tests erfolgen auf den Referenzfre- quenzen 1 Hz, 5 Hz, 9 Hz und 13 Hz. Die Abbildung 5.5 zeigt die Ausgabe der Testergebnisse für die Referenzfrequenz von 5 Hz. Es ist ersichtlich, dass die Erkennung der Unterschiede bei entsprechend großen Abweichungen der Testfrequenz von den Probanden wahrgenommen wird. Die Ergebnisse der nötigen absoluten und relativen Änderung für die richtige Identifizierung von mindestens 50% der Probanden sind in Tabelle 5.5 aufgetragen. Abbildung 5.5.: Die Antworten für die Referenzfrequenz von 5Hz. Die absoluten Werte der JNDs sind -0,75Hz und + 0,75Hz. Das entspricht einer Änderung von -15% und +15%. 48 5.3. Ergebnisse 1 Hz 5 Hz 9 Hz 13 Hz +∆Hz 0,2 0,75 1,9 6,5 −∆Hz 0,15 0,75 3,15 4,55 % (+) 0,2 0,15 0,21 0,5 % (-) 0,15 0,15 0,35 0,35 Tabelle 5.5.: Die Ergebnisse der Untersuchung von den Frequenz-JNDs. 5.3.5. Muster Die Untersuchung der Ergebnisse zur Musterausgabe, wie in Abschnitt 5.1.5 angegeben, erfolgt zunächst ohne Berücksichtigung der Größe oder Richtung einer Ausgabe. Die daraus resultierenden zusammengefassten Muster sind Dreieck, Kreis, Strich und Mitte. Wie in Abbildung 5.6 ersichtlich, können die Muster Mitte und Strich sehr gut erkannt werden und von den jeweils Anderen gut unterschieden werden. Die Mitte hat eine Erkennungsrate von 94,6% und wird lediglich von 3,6% mit der Kreis- und von 1,8% mit der Strich-Ausgabe verwechselt. Die Ausgabe des Striches wird zu 72,3% richtig erkannt, wobei Verwechslungen zu 12,5% mit der Mitte, zu 8,9% mit dem Kreis und zu 6,25% mit dem Dreieck erfolgen. Immerhin 60,7% der Probanden können den Kreis korrekt identifizieren, die falschen Antworten sind 22,6% Strich, 13,1% Dreieck und 3,57% Mitte. Die Ausgabe des Dreiecks wird von der Mehrzahl der Probanden nicht korrekt identifiziert. So können 29,8% der Probanden das Dreieck von den anderen Ausgaben unterscheiden. Dabei entfallen 48,8% der Verwechslungen auf den Kreis und 21,4% auf den Strich. Abbildung 5.6.: Die Erkennungsraten der Muster ohne Berücksichtigung der verschiedenen Größen und Richtungen. Sichtbar sind die häufigen Verwechslungen von Dreieck und Kreis, sowie die guten Erkennungsraten der Mitte und des Striches. Die Berücksichtigung der Große eines Musters hat Einfluss auf die Erkennungsrate. Wie in Abbildung 5.7 ersichtlich sinkt die Erkennungsrate des Dreieck-Musters von 35,7% bei 2cm Kantenlänge auf 25,0% bei 4cm Kantenlänge. Für eine zunehmende Menge der Probanden fühlt sich ein größeres Dreieck wie ein Kreismuster an (71,4% bei 4 cm Kantenlänge). Eine gegenläufige Tendenz zeigt sich 49 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade beim Kreismuster, so erkennen die Probanden den Kreis zu 42,9% mit 2 cm Durchmesser, zu 67,9% den Kreis mit 3 cm Durchmesser und zu 71,4% den Kreis mit 4 cm Durchmesser. Für jede Richtung des Striches liegt die Erkennungsrate über 50,0%. Der Strich von rechts wird von 89,57% der Probanden korrekt identifiziert, der Strich von links zu 78,9%, der Strich von oben zu 67,9% und der Strich von unten zu 53,6%. Abbildung 5.7.: Die Erkennungsraten der einzelnen Muster unter Berücksichtigung der verschiede- nen Größen und Richtungen. 5.3.6. Abschlussfragebogen In der Eingangsfrage wurden die Probanden gebeten, die gefühlte Temperaturänderung durch die Luft zu bewerten. Dabei empfanden 53,3% der Probanden die Temperaturänderung in Richtung kalt für sehr stark, während die restlichen 46,7% die Temperaturänderung als tendenziell kälter empfinden. Die Temperaturänderung empfinden 6,7% der Probanden als sehr unangenehm, 33,3% als tendenziell unangenehm, 40,0% als neutral, 13,3% als tendenziell angenehm und 6,7% als sehr angenehm. Ein Proband gab als Begründung des unangenehmenGefühles die Austrocknung der Haut an. Bei der Frage nach der Stärke des Luftstrahles empfanden 13,3% der Probanden den Luftstrahl als tendenziell stark, 46,7% als neutral und 40,0% als schwach. Insgesamt können sich 93,3% der Probanden vorstellen, Luft- Feedback grundsätzlich in Anwendungen einzusetzen. Von den vorgegebenen Anwendungszwecken können sich 80,0% vorstellen, Luft-Feedback in Spielen einzusetzen, 60,0% zur Unterstützung von Freihandgesten, 60,0% zur Verbesserung der Immersion im Kino, 40,0% für allgemeine Anwendungen im Computerbereich, 33,3% als Unterstützung im Auto, 33,3% in der Hausautomatisierung sowie 20,0% als Verbesserung der Immersion für Anwendungen in Verbindung mit dem Fernseher. Weitere Nennungen von den Probanden sind Simulationen und die Unterstützung von sehbeeinträchtigten Menschen wie zum Beispiel durch Navgiation oder Feedback bei Schaltern. Zu den Versuchen der Mustererkennung wurden die Probanden zu einer persönlichen Einschät- zung der Schwierigkeit beim Auseinanderhalten von Musterpaaren gefragt. Die Ergebnisse sind in Abbildung 5.8 aufgeführt. Die schwierigste Unterscheidung empfinden die Probanden demnach 50 5.4. Zusammenfassung und Diskussion zwischen Kreis- und Dreiecksmuster (67% - sehr schwierig, 27% tendenziell schwierig). Die einfachste Unterscheidung ist zwischen Kreis- und Strichmuster (40% sehr einfach, 47% tendenziell einfach). Abbildung 5.8.: Die Bewertung der Unterscheidbarkeit aller Musterpaare durch die Probanden. 5.4. Zusammenfassung und Diskussion In der Vorstudie konnten Erkenntnisse über die Freiheitsgrade zur Codierung von Informationen durch Luft gewonnen werden. Die Ergebnisse der Studie bezüglich der Wahrnehmungsmöglichkeiten von Luft sind unter Berücksichtigung der technischen Gegebenheiten des Prototyps zu bewerten, können jedoch in einem gewissen Rahmen generalisiert werden. In der Studie ermittelte Grenzwerte wie JNDs beziehen sich auf die Grenzen der Wahrnehmung. Zur guten Unterscheidbarkeit von Luft-Feedback in Anwendungen ist das Hinzufügen von Toleranzen zu den Grenzwerten definitiv notwendig. Zusätzlich darf bei der Interpretation der Werte nicht vergessen werden, dass es sich bei der Studie um eine Laborstudie mit speziellen Bedingungen handelt, so konnten sich die Probanden in den Versuchen, durch Reduzierung von Ablenkungen, völlig auf das Fühlen der Stimuli konzentrieren. Die Ergebnisse zu den Versuchen zur minimalen Dauer (Abschnitt 5.3.1) zeigen, dass die menschliche Wahrnehmung sehr kleine Luftstöße erkennen kann. Dabei ist es unerheblich ob die Luft auf die Handfläche oder den Handrücken ausgegeben wird. Bei den Dauer-JNDs ist die notwendige Abwei- chung zur Unterscheidung zweier Luftstöße im 400 ms Block geringer (-17,5% und +22,5%) als im 200 ms Block (-25% und + 40%). Eine Gleichheit bei Referenz- und Testwert erkennen 69,2% der Probanden korrekt. Die Ergebnisse zum Freiheitsgrad der Frequenz zeigen, dass sich ein Luftstrahl ab einer Frequenz von 10 Hz für die Mehrzahl der Probanden wie eine dauerhafte Ausgabe anfühlt. Dieses Ergebnis wird auch durch die Versuche zum Finden der Frequenz-JNDs bei 13 Hz bestätigt. Den Unterschied spüren die Probanden erst bei einer Änderung von +50% (19,5 Hz), im Gegensatz zu den Werten bei den niedrigeren Frequenzen von +15% bis +21%. 51 5. Benutzerstudie zur Untersuchung möglicher Freiheitsgrade Bei dem Freiheitsgrad Muster kann die Mitte von den Probanden am besten erkannt werden. Die zweitbeste Erkennungsrate haben die Striche aus den vier verschiedenen Richtung über die Handfläche. Eine große Verwechslungsgefahr besteht bei den Mustern Dreieck und Kreis. Würden diese beiden Muster zusammengefasst, hätten sie eine größere Erkennungsrate als das Strichmuster. Vor allem bei der Ausgabe der verschiedenen Größen des Dreieckes zeigt sich das Problem der Auflösung. Wie in der Düsenbeschreibung in Abschnitt 4.1.4 angegeben sind die Luftkegel auf die im Versuch verwendete Entfernung bereits relativ breit. Fährt die Mitte des Luftkegels bei den größeren Kantenlängen des Dreieckes über die Handkante, oder sehr nahe an den Rand der Handfläche, verhindert dies das genaue Erspüren von scharfen Kanten und erzeugt die Wahrnehmung eines Kreismusters. Das durch den Abschlussfragebogen gewonnene qualitative Feedback zeigt eine positive Resonanz der Probanden gegenüber Luftfeedback. Die überwiegende Mehrzahl der Probanden kann sich vorstellen Luft-Feedback in Anwendungen einsetzen. Dabei sind die meistgenannten Anwendungszwecke Videospiele und die Unterstützung von Freihandgesten. 52 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion Die Vorstudie hat gezeigt, dass ein direkter Luftstrahl auf die Handmitte und Luftstrahlen in Strichform sehr gut identifizierbar sind. Wie in Abschnitt 5.4 beschrieben, wünschen sich die Probanden Luft in Anwendungen, insbesondere für Freihandgesten und Videospielen. Auf diesen Vorgaben wird für die Hauptstudie ein Videospiel erstellt, das durch LeapMotion-Eingaben gesteuert wird und Luft mit dem in Kapitel 4 vorgestellten Prototyp taktil ausgibt. Die Bereitstellung von taktilem Feedback ist besonders in Anwendungen wünschenswert, in denen es kein, oder nur sehr geringes, natürliches Feedback gibt. Bei der Verwendung einer LeapMotion interagiert der Benutzer im freien Raum oberhalb des Gerätes ohne Berührung von Oberflächen. Das Fehlen von Reizen kann mit Luftstößen als taktile Ausgabe ausgeglichen werden. Luft ist jedoch auch eine ungewöhnliche Feedbackform und die meisten Menschen dürften darauf nicht trainiert sein. Es soll deshalb unterstützend wirken und nicht als alleinige Ausgabeform verwendet werden. Ziel dieser Studie ist die Untersuchung der Möglichkeiten zur Unterstützung von der gewohnten visuellen Ausgabe durch Luft. Ohne Luftfeedback haben die Probanden kein taktiles Feedback und die Vermutung ist, dass bei zusätzlicher Ausgabe von Luft-taktilen Reizen bessere Ergebnisse im Spiel erreicht werden können. Neben dem objektiven Beweis von messbaren Änderungen bei der Leistung, ist die Erfassung der subjektiven Empfindungen bei Luftfeedback ein Ziel der Studie. In den folgenden Abschnitten wird das Videospiel und das Gesamtsystem zur Durchführung der Studie beschrieben. ImVerlauf der Studie darf jeder Proband das Spiel mit drei verschiedenen Feedbackformen spielen. Im ersten Fall gibt es nur die visuelle Ausgabe ohne taktiles Feedback. Mit diesen Daten kann ein Vergleich mit den durch Luftausgabe unterstützten Fällen gezogen werden. Im zweiten Fall wird Luftfeedback auf eine bestimmte Position derart gerichtet, sodass der Berührungspunkt von Luftstrahl und Handmitte des Probanden senkrecht über dem im Computerspiel zu treffenden Ziel ist. Der dritte Fall erweitert diese feste Position um eine Luftführung. Dabei soll der Luftstrahl auf der Hand von Probanden in die Richtung des zu treffenden Zieles zeigen. Wie im zweiten Fall erfolgt die Luftausgabe auf die Handmitte, sobald sich die Handfläche über dem Ziel befindet. 6.1. Design Hauptstudie Im folgenden Abschnitt ist das Design des in der Hauptstudie verwendeten Prototyps, die eingesetzte Software, die Eingabehardware und das Spielprinzip erläutert. Der Kern des Systems stellt das mit Unity3D entwickelte Computerspiel „whac-a-mole“ dar. Die Steuerung des Spiels erfolgt mit einer LeapMotion, die es ermöglicht die Hand von Probanden zu erfassen und als Eingabe zu verwenden. 53 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion Über ein einfaches Netzwerkprotokoll erfolgt die Steuerung eines Ausgabeprogrammes, das die Luftausgabe und das Logging verwaltet. 6.1.1. LeapMotion Die Steuerung des erstellten Computerspiels erfolgt durch eine LeapMotion. Die LeapMotion ist ein kleines USB-Gerät, das Finger und Hände von Benutzern erfassen und zur Eingabe verwenden kann. Die eingesetzte Technik beruht auf drei Infrarot-LEDs und zwei Infrarot-Kameras zur Aufnahme von Tiefeninformationen. Die weitere Verarbeitung dieser Daten zum Erkennen von Händen und Fingern erfolgt durch ein internes Modell der menschlichen Hand [Lea14] und komplexe Mathematik1. Der erfasste Raum einer LeapMotion hat den Raum einer invertierten Pyramide, deren Mitte senkrecht auf der Oberseite des Gerätes steht. Der Winkel der Pyramidenspitze ist 150◦. Die Erkennung erfolgt im Bereich von 25 bis 600 mm. Von der LeapMotion erfasste Objekte besitzen eine 3-dimensionale Position des in Abbildung 6.1 dargestellten Koordinatensystems. Die Genauigkeit eines LeapMotion Controllers wird in der Arbeit von Weichert et al. [WBRF13] untersucht und es kann die sehr geringe Abweichung von weniger als 0,2 mm im Vergleich von der 3D-Position und der von der LeapMotion ermittelten Position festgestellt werden. Abbildung 6.1.: Die LeapMotion und ihr Koordinatensystem. Die Abbildung ist aus der offiziellen API Übersicht[Lea14] 1LeapMotion unofficial FAQ *https://forums.leapmotion.com/forum/general-discussion/general-discussion-forum/1058- technical-specifications?1005-Technical-specifications=&p=8906&viewfull=1#post8906 54 6.1. Design Hauptstudie LeapMotion API Die Eingabedaten der LeapMotion werden von einem Service auf dem Rechner verarbeitet, auf welchen mit einer API aus Anwendungen zugegriffen werden kann. Derzeit ist die API für die Programmiersprachen JavaScript, C#, C++, Java, Python und Objective-C verfügbar. Der Zugriff auf den LeapMotion-Service erfolgt über ein Controller-Objekt. Mit diesemObjekt sind die aktuellen Daten als Frame verfügbar. In jedem Frame sind die Daten aller zum Zeitpunkt der Frameerstellung erfassten Hände, Finger und Gesten enthalten. Die erfassten Objekte besitzen eine ID, welche in konsekutiven Frames gleich bleibt. Objekte, die in einem Frame nicht mehr gefunden werden, bekommen eine neue ID sobald sie wieder erkannt werden. Der Controller kann der Anwendung über Callback-Funktionen das Verlieren und Finden von Objekten mitteilen. Die Frames können von der Anwendung durch Polling angefordert werden. Alternativ ist die Re- gistrierung einer Callback-Funktion am Controller möglich, wodurch die Anwendung jedes neu verfügbare Datenframe erhält. Für ein Videospiel mit einer festen Framerate ist das Polling-Verfahren häufig ausreichend und erfordert weniger Rechenleistung. 6.1.2. Unity3D Unity3D2 ist eine komponentenbasierte Game-Engine für den Multiplattform-Einsatz. Ein Kernelement ist der grafische Editor mit diversen Fenstern wie der 3D-Szenenansicht, dem Objekteigenschaften-Fenster sowie weiteren Menüs zur Verwaltung von Spieleinhalten wie Texturen, Prefabs oder Musik. Jedes Spielobjekt in Unity3D wird aus der Klasse GameObject abgeleitet. Durch Hinzufügen von Komponenten wie Texturen, Beleuchtungen, Physik oder eigenen Skripten begründet sich das Spielprinzip. Die Programmiersprachen für eigene Skripte sind C#, JavaScript und BOO. In- nerhalb der Skripte ist es möglich auf Events zu reagieren, zum Beispiel kann ein Kollisionsevent eines Spielobjektes abgefangen werden um in der Spielelogik darauf zu reagieren. Als Laufzeitumgebung für C# verwendet Unity das Opensource-Framework Mono. Mono ist laut Angaben der offiziellen FAQs 3 auf dem Entwicklungsstand von .net zwischen Version 2.0 und 3.5. Eine weitere Eigenschaft von Unity3D ist die Möglichkeit zur Hierarchisierung von Spielobjekten. Diese verschachtelten Objekte können damit auch in sogenannte Prefabs gespeichert werden. Diese können dann mehrfach im Spiel verwendet werden und Änderungen die alle Objekte dieses Typs betreffen, zum Beispiel der Größe eines Spielers, müssen nur einmal für das Prefab geändert werden. Die im Funktionsumfang reduzierte freie Version von Unity darf in nicht kommerziellen Produkten verwendet werden. Der genaue Vergleich der Lizenzen ist auf der offiziellen Webseite 4 möglich. 2Offizielle Unity3D Webseite *http://unity3d.com/ 3Mono-Project FAQ *http://www.mono-project.com/FAQ 4Unity3D-Lizensvergleiche *http://unity3d.com/unity/licenses 55 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion Abbildung 6.2.: Screenshot aus dem Spiel Whac-A-Mole. Die Handrepräsentation ist die grüne Sphäre. Die Holzkiste ist das nächste aktive Ziel. Links oben die verbleibende Zeit in Sekunden. 6.1.3. Whac-A-Mole Das Spiel für die Hauptstudie folgt dem Spielprinzip des „whac-a-mole“ und ist ein klassisches Arcade- Spiel. Das erste Spiel wurde von der Firma Bob’s Space Racers 1971 erfunden5 und ist in vielen verschieden Variationen und Portierungen noch heute populär. Im Spiel erscheinen zu verschiedenen Zeiten Ziele, die ein Proband mit einem Schlagwerkzeug, zum Beispiel mit einem Gummihammer, treffen muss. Bei der Umsetzung im Computerspiel gibt es 9 mit einer Holzkistentextur versehene Quader als Ziele. Die Ziele besitzen neben sichtbarenmit Textur versehenenQuadern, weitere für die Spieler unsichtbare Kollisionsquader. Die Kombination aus Kollisionsphsysik von Unity3D und diesen Kollisionsquadern, ermöglicht eine einfache Ansteuerung der Luftausgabe. Im Verlauf des Spiels erscheinen die Ziele zufällig auf der Spieloberfläche. Es gibt drei Zielpositionen im Vordergrund, drei in der mittleren Reihe und drei Positionen sind im Hintergrund. Das Zielen und Schlagen im Spiel erfolgt durch die LeapMotion, indem ein Sphären-Spielobjekt die Handfläche repräsentiert. Bei der Übertragung der LeapMotion-Koordinaten in das Unity-Koordinatensystem wird ein Offset auf die Koordinaten addiert. Durch einen negativen Offset in der Höhe wird der LeapMotion-Nullpunkt im Spiel nach oben verschoben. Eine weitere Anpassung bei der Übersetzung der Koordinaten ist die Skalierung. Der Ansatz dabei ist, dass die LeapMotion-Koordinaten in Millimetern vorliegen, wohingegen die UnityEinheiten jeweils einen Zentimeter repräsentieren. Der Skalierungfaktor für die Koordinaten der LeapMotion ist somit 0,1. 5Arcade Museum WhacAMole *http://www.arcade-museum.com/game_detail.php?game_id=10421 56 6.1. Design Hauptstudie Die Klasse Gamelogic repräsentiert den aktuellen Spielzustand und stellt die Funktionalität der Spiellogik bereit. Beim Zeitpunkt der Instanziierung sind alle Szeneobjekte bereits von der Unity3D- Laufzeitumgebung als Objekte verfügbar. So wird ein Verweis auf jedes Zielobjekt in einer Liste innerhalb des GameLogic-Objektes gespeichert. Bei einem Treffer im Spiel wird durch eine zufällige Auswahl eines Elements dieser Liste das nächste Ziel bestimmt. Alle weiteren Ziele werden auf inaktiv gesetzt. Das Wechseln vom Zustand ist wesentlich performanter als das Reservieren von Speicher und Registrieren von Events beim Instanziieren neuer Objekte. Des Weiteren wird bei einem Treffer eine Integer-Variable inkrementiert. Die Spieler sollen die Ziele wie durch einen Schlag mit der flachen Hand von oben treffen. Um zu verhindern, dass die Spieler lediglich mit der Hand knapp oberhalb der virtuellen Spieloberfläche hin- und herfahren, muss nach jedem Treffer eines Zieles, oder der Spieloberfläche, eine Schlagfreigabe erreicht werden. Die Schlagfreigabe wird im Spiel durch die Kollision mit einem texturlosen Quader in 5 cm Höhe über dem Spielfeld erreicht. Für die Spieler wird der Zustand der Schlagfreigabe visuell durch die Färbung der Sphären-Handrepräsentation angezeigt. Grün steht für Schlagfreigabe, rot für keine Schlagfreigabe. Kollidiert der Spieler unter aktiver Freigabe mit dem Boden, wird ein Fehlerzähler inkrementiert. Die Übertragung der Punkte und Fehler an das Ausgabeprogramm erfolgt am Ende des Spiels durch Ablaufen eines nach dem ersten Treffer gestarteten Countdowns von 3 Minuten. Abbildung 6.3.: Die GUI des Ausgabeprogrammes. Mit der Eingabe der Probandennummer und Wahl der Ausgabe werden die Feedbackform und Namen der Logdateien festgelegt. 57 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion 6.1.4. Ausgabeprogramm Die Ansteuerung der Luftausgabe und das Logging wird in einer eigenständigen Anwendung durch- geführt. Durch diese Lösung können die Logdaten und der Spielzustand während der Studie in einem zusätzlichen Fenster durch den Studienleiter überwacht werden. Auch kann die Software-Bibliothek des Prototyps in ihrer ursprünglich geplanten Version von .net 4.5 verwendet werden. Die benötigten Daten zur Luftausgabe und Logging werden mit einer einfachen UDP Client/Server Architektur von Unity3D an das Ausgabeprogramm übertragen. Protokoll Der Client zur Übertragung der UDP-Pakete wird beim Start des Spiels in Unity3D gestartet. Bei jedem übertragenen Paket sind die ersten vier Byte für die Befehlsnummer reserviert. Der Server des Ausgabeprogrammes kann über ein Switch-Befehl diese Daten verarbeiten. Da nur Daten von Unity3D zum Ausgabeprogramm geschickt werden, kann der Client im Spiel nicht entscheiden für welche Luftausgabe die Daten bestimmt sind und schickt deshalb die Daten für alle Ausgabetypen. Dieser Übertragungsoverhead ist der Preis für eine einfache Implementierung auf der Seite des Computerspieles. Die Befehle des Protokolls sind in Tabelle 6.1 aufgeführt. Befehl Name Datenbyte Parameter Funktion 1 Send_Position 12 float x, float y, float z Handposition nach LeapMo- tion. 2 Send_Collision 4 int target Kollision von Hand mit Ziel- nummer target. 3 Send_Collision_Large 16 int target, float x float y, float z Kollision der Hand mit Ziel- bereich von target. Koordina- ten x und z sind vom Ziel, y ist die Höhe der Hand. 4 Send_Time 8 double time, int target Die vergangene Zeit zwi- schen der letzten und aktuel- len Kollision. 5 Send_Collisiondistance 8 float distance, int target Distanz der Kollision der Mit- te von Ziel target mit der Hand. 6 Send_Game_Status 12 int Zustand, int Punkte, int Fehler Überträgt den Zustand des Spieles, sowie die aktuellen Punkte und Fehler 7 Send_Heading 12 float x, float y, float z Die Koordinaten der Luftpo- sition für die Handführung. Tabelle 6.1.: Das Protokoll zur Übertragung der Daten von Unity zum Ausgabeprogramm. 58 6.1. Design Hauptstudie Logging Das Ausgabeprogramm erstellt für jede Aufgabe und jeden Probanden drei Logfiles. Die Namensge- bung dieser 9 Logfiles pro Proband wird durch die in der GUI eingetragene Probandennummer, die Ausgabemethode und in Abhängigkeit der gemessenen Art von Daten bestimmt. Die Ausgabemetho- den werden in Abschnitt 6.3 erklärt. Die drei Arten der Daten sind die Genauigkeit des Treffers, Zeit zwischen zwei Treffern sowie die Fehler und Punkte am Ende des Spieles. Die Speicherung der Daten erfolgt im CSV-Format. 6.1.5. Einstellung der Hardware Um eine gute Erkennung des Luftstrahles zu gewährleisten wurde der Arbeitsdruck von 1 bar aus der Vorstudie auf 2 bar verdoppelt. Zur Dämpfung des Geräuschpegels ist ein Gehäuse mit Akustik- schaumstoff um den Kompressor gebaut. Der Aufbau mit LeapMotion und Servo-Plattform ist auf einer Holzplatte fest verarbeitet. Da die Servo- Plattform eine Höhe von circa 8 cm besitzt, ist die LeapMotion mit einem Holzblock entsprechend unterfüttert. Die verbleibende Distanz zwischen Düsenausgang und dem Nullpunkt des LeapMotion- Koordinatensystemes ist, wie in Abschnitt 6.1.3 beschrieben, als Offset in Unity3D eingetragen. Abbildung 6.4.: Der Hardwareaufbau der Studie. Der Nullpunkt des Computerspieles ist zwischen LeapMotion und Servo-Plattform um 10 cm nach oben verschoben. 59 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion 6.2. Fragebögen Die Ermittelung der subjektiven und nicht messbaren Belastung und Eindrücke der Probanden erfolgt nach jeder Aufgabe mit zwei standardisierten Fragebögen. Die Erfassung der Belastung erfolgt durch den NASA Task Load Index. Die Erfassung von Gefühlen, Eindrücken und Einstellungen bei der Benutzung des Prototyps, zusammengefasst als User Experience, erfolgt durch den User Experience Questionnaire. 6.2.1. Nasa Task Load Index Der NASA Task Load Index (NASA TLX) [HS88] ist ein standardisierter Fragebogen zur subjektiven Erfassung der geistigen und körperlichen Beanspruchung von Probanden beim Lösen einer Aufgabe. In der Benutzerstudie wird die modifizierte und als Raw Nasa TLX bekannte Version verwendet. Im Unterschied zur ursprünglichen Form entfällt die Gewichtung der Fragen [Har06] und somit erfolgt die Erfassung der Belastung von Probanden durch einen Fragebogen mit sechs Skalen mit jeweili- gem Intervall von 1 (geringe Beanspruchung) bis 9 (große Beanspruchung). Die sechs abgefragten Belastungsarten sind: • Geistige Anforderung: Wie viel geistige Anstrengung musste der Proband aufbringen um die Aufgabe zu Lösen. Dazu zählt Nachdenken, Rechnen, Konzentration und Entscheiden. • Körperliche Anforderung:Wie viel körperliche Anstrengungmusste der Proband aufbringen um die Aufgabe zu Lösen. Erfassung des Grades an benötigter Kraft, Ausdauer oder Geschicklichkeit. • Zeitliche Anforderung: Der empfundene Zeitdruck beim Lösen der Aufgabe. • Einschätzung der Leistung: Die subjektive Einschätzung der eigenen Leistung. Konnte die gestellte Aufgabe gut gelöst werden und wie zufrieden ist der Proband mit seiner Leistung? • Anstrengung: Wie anstrengend empfand der Proband die gesamte Aufgabenerfüllung? • Frustration: In welchem Grad war der Proband unsicher entmutigt, irritiert, gestresst oder verärgert beim Lösen der Aufgabe? 6.2.2. User Experience Questionnaire Der User Experience Questionnaire (UEQ) [LSH06] basiert auf der Abfrage von 26 Eigenschaften, die sich den sechs Faktoren Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Orignalität zuordnen lassen. Ein Vorteil des UEQ ist die schnelle Erfassung dieser verschiedenen User-Experience-Kriterien. Das Ausfüllen des Fragebogen erfolgt auf einer Skala von 7 Punkten, wobei sich jeweils gegensätzliche Eigenschaften gegenüberstehen. Bei der Attraktivität stehen sich zum Beispiel „gut“ (1) und „schlecht“(7) gegenüber. Die Attraktivität wird über sechs Eigenschaft gemessen, alle anderen Faktoren sind mit vier Eigenschaften zu bewerten. 60 6.3. Durchführung der Studie und Aufgaben Abbildung 6.5.: Die Probanden im Versuch. 6.3. Durchführung der Studie und Aufgaben Die Studie wurde an zwei Tagen durchgeführt. Dabei konnten sich die Probanden über eine doodle- Terminumfrage auf jeweils einstündige Zeitslots eintragen. Um Ablenkungen der Probanden durch Umwelteinflüsse zu verhindern wurde für die Studie ein kleiner Laborraum reserviert. Jeder Proband bekommt nach der Aufnahme der demographischen Daten eine Versuchsreihenfolge zugewiesen. Die Versuchsreihenfolgen sind wie in Tabelle 6.2 dargestellt nach dem Latin-Square- Schema verteilt. Die Zuteilung der Probanden erfolgt in der Reihenfolge der Versuchsteilnahme, sodass der erste Proband die Reihenfolge Fall 1, der zweite Proband die Reihenfolge Fall 2 und der dritte Proband die Reihenfolge Fall 3 ausführt. Somit wird bei 18 Probanden jede Konfiguration 6 mal ausgeführt. Fall 1 Fall 2 Fall 3 A B C B C A C A B Tabelle 6.2.: Das normalisierte Latin-Square Schema der Versuchsreihenfolgen. A ist die visuelle Ausgabe, B ist das Luftfeedback und C ist die Luftführung. Dem Probanden wird jeweils vor Beginn der Versuche das Spielprinzip und die allgemeine Funktions- weise des Prototyps erklärt. Da es sich bei der Eingabe mit der LeapMotion um ein relativ neuartiges 61 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion Interaktionskonzept handelt, bekommt jeder Proband die Möglichkeit das Spiel drei Minuten im visuellen Modus zu spielen und Erfahrungen zu sammeln. In jedem Versuch hat der Proband drei Minuten Zeit um die maximale Anzahl an Kisten zu treffen. Im Nachfolgenden werden die drei Szenarien „Visuelle Ausgabe“, „Feedback“ und „Luftführung“ beschrieben. 6.3.1. Visuelle Ausgabe In diesem Szenario wird keine Luft zur taktilen Ausgabe eingesetzt. Die Herausforderung für die Probanden ist vor allem das Finden der richtigen Position des Ziels. Die Projektion von Interaktion im 3D-Raum der LeapMotion und der Visualisierung im Computerspiel erfordert die Konzentration der Probanden. Allerdings entsteht auch keine Ablenkung durch taktile Reize der ungewohnten und neuen Feedback-Technologie. 6.3.2. Luftfeedback In diesem Szenario wird neben der visuellen Ausgabe ein zusätzlicher Luftstrahl an die Position des zu treffenden Zieles ausgegeben. Die Richtung des Luftstrahles ist von der Position des Zieles in der Fläche und der Höhe der Hand abhängig. Die Steuerung der Luftausgabe wird durch die in Abschnitt 4.2.4 beschriebene Handverfolgung realisiert. Beim Testen der Position des Luftstrahls war die Genauigkeit ausreichend um die Ziele mit geschlossenen Augen zuverlässig zu treffen. 6.3.3. Luftführung Die Luftführung ist eine Erweiterung des Luftfeedbacks mit einer variablen Richtungsanzeige zum nächsten Ziel. Dazu wird die Richtung zum Ziel, in der Distanz von 2,5 cm zur Handmitte, mit- tels Luftstrahl angezeigt. Direkt über dem Ziel trifft der Luftstrahl, gleich dem Luftfeedback, die Handmitte. 6.4. Probanden Insgesamt haben 18 Probanden an der Hauptstudie teilgenommen. Davon waren 5 weiblich und 13 männlich. Die Probanden waren im Durchschnitt 23,8 (SD: 3,84) Jahre alt. Der jüngste Proband war 20, der Älteste 30 Jahre alt. Die Führungshand war bei 78% (abs: 14) die rechte Hand. Alle Probanden haben als beruflichen Hintergrund ein Studium der Informatik. 62 6.5. Auswertung 6.5. Auswertung In diesem Abschnitt erfolgt die Auswertung der Benutzerstudie. Es werden die gemessenen Daten wie Fehler, Punkte und Genauigkeit nach Aufgabentyp betrachtet sowie die subjektiven mit den Fragebögen ermittelten, Werte von NASA-TLX und UEQ präsentiert. Zusätzlich wird das durch den Abschlussfragebogen und durch Diskussion mit den Probanden ermittelte qualitative Feedback gezeigt. 6.5.1. Punkte Der direkte Vergleich der drei verschiedenen Szenarien erfolgt zunächst über die Analyse der er- reichten Punkte im Spiel. In der visuellen Ausgabe wurden durchschnittlich 88,56 Punkte(SD = 31,96) erreicht, im Luftfeedback 82,67 Punkte (SD = 33,13) und bei der Luftführung 79,17 Punkte (SD = 24,08). Die Untersuchung auf statistische Signifikanz durch eine Varianzanalyse mit Messwiederholungen (ANOVA) zeigt bei den Punktzahlen keine signifikanten Unterschiede (F(2,34) = 1,560, p =0,225). Der zweite Untersuchungspunkt ist die Anzahl der Fehler. Das sind die in Abschnitt 6.1.3 beschriebenen Schlagversuche ohne Treffer eines Zieles. Bei der visuellen Ausgabe wurden im Durchschnitt 24,06 Fehler (SD = 17,11) gemacht, bei der Luftführung 25,83 Fehler (SD = 19,33) und beim Luftfeedback 45,78 Fehler (SD = 51,93). Die Fehlerwerte zeigen bei der Varianzanalyse mit Messwiederholungen (ANOVA) keine signifikanten Unterschiede (F(2,34) = 2,922, p = 0,1). Auswirkung der Reihenfolge Unter Berücksichtigung der Konfiguration, also der Reihenfolge der Versuche, wie in Abschnitt Durchführung der Studie und Aufgaben 6.3 beschrieben, kann ein Effekt festgestellt werden. Im Fall 2 (Luftführung, Visuell, Luftführung) wurden durchschnittlich 92,4 Punkte (SD = 21,1) erreicht. Bei der Reihenfolge von Fall 3 (Luftfeedback, Luftführung, Visuell) wurden durchschnittlich 89,7 Punkte (SD = 32,5) erreicht. Für Fall 1 (Visuell, Luftfeedback, Luftführung) wurden durchschnittlich 68,3 Punkte (SD = 23,3) erreicht. Diese Wechselwirkung von Konfiguration mit Punkten zeigt sich nach einer Varianzanalyse mit Messwiederholungen (ANOVA) unter Einbeziehung der Konfiguration als Zwischensubjektfaktor als statistisch signifikant (F (4,30) = 7,99, p < 0,05). Die Berücksichtigung der Konfiguration bei den Fehlern durch eine Varianzanalyse mit Messwiederholungen (ANOVA) zeigt keine statistische Signifikanz (F (4,30) = 1,131, p > 0,05). 6.5.2. Genauigkeit Bei der Messung von Distanz zwischen Kollisionsort und Zielmitte hat die Luftführung eine durch- schnittliche Abweichung von 0,42 (SD = 0,31), die visuelle Ausgabe 0,43 (SD = 0,31) und das Luftfeed- back 0,45 (SD = 0,31). Bei diesen Abweichungen konnte durch eine Varianzanalyse mit Messwieder- holungen (ANOVA) keine statistische Signifikanz nachgewiesen werden (F(2,30) = 1,938, p > 0,05). Die Varianzanalyse mit Messwiederholungen (ANOVA) unter Berücksichtigung der Konfiguration zeigt keine statistische Signifikanz (F(4,30) = 0,837, p > 0,05). 63 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion Abbildung 6.6.: Die Punkte der drei Szenarien aufgetragen in der Reihenfolge der Ausführung. 6.5.3. NASA Task Load Index Die Analyse der subjektiven Einschätzung der Beanspruchung beim Lösen der Aufgaben wird im Folgenden dargestellt. Der TLX-Wert über alle Probanden und Aufgaben (M = 4,19, SD = 1,99) ist geringer als der Mittelwert des TLX-Skalenbereiches (5). Aufgeschlüsselt nach den einzelnen Aufgaben hat die Luftführung einen TLX-Wert von 3,95 (SD = 1,80). Der TLX-Wert der visuellen Aufgabe ist 4,26 (SD = 2,11). Im Szenario des Luftfeedbacks ist der TLX-Wert 4,36 (SD = 2,05). Eine Friedman-ANOVA zeigt keine statistische Signifikanz dieser Werte (χ2 = 3,855, p = 0.146). Die TLX-Mittelwerte der Fragen bezogen auf die drei Aufgaben sind in Abbildung 6.7 aufgetragen. Der TLX-Wert über die drei Versuchsdurchgänge ist in Bild 6.8 aufgetragen. Die durch den TLX- Wert gemessene Beanspruchung im dritten Versuchsdurchgang ist 4,09 (SD = 2,06). Im zweiten Versuchsdurchgang ist der TLX-Wert 4,16 (SD = 1,90) und im zweiten Durchgang 4,32 (SD = 2,00). 6.5.4. User Experience Questionnaire Die Bewertung der User Experience ist in in Tabelle 6.3 aufgetragen. Beim Vergleich der Unterschiede, jeweils mit dem schlechtesten und besten Faktor, ist der Unterschied bei der Originalität 1,14. Der Zuwachs bei der Stimulation ist 1,03 , Attraktivität 0,7, Steuerbarkeit 0,54, Durchschaubarkeit 0,42 und Effizienz 0,31. Die Unterschiede der Werte zwischen Luftfeedback und Luftführung ist bei der Attraktivität und Durchschaubarkeit gleich. Luftfeedback wird bei den Faktoren Stimulation (+0,14) und Durchschau- barkeit (+0,11) besser bewertet, die Luftführung bei den Faktoren Steuerbarkeit (+0,05) und Originalität (+0,1). 64 6.5. Auswertung 1 2 3 4 5 6 7 8 9 (A) (B) (C) (D) (E) (F) Abbildung 6.7.: Die TLX-Werte der Aufgaben Visuell (grün), Luftfeedback (gelb) und Luftführung (blau) aufgeschlüsselt nach den sechs Fragen (sinngemäß übersetzt). (A): Wie geistig anstrengend war die Aufgabe?, (B): Wie körperlich anstrengend war die Aufgabe?, (C): Wie hastig oder gehetzt war das Tempo der Aufgabe?, (D): Wie erfolgreich waren Sie beim Lösen der Aufgabe?, (E): Wie sehr mussten Sie sich anstrengen, um Ihre Leistung zu erreichen? (F):Wie unsicher, entmutigt, irritiert, gestresst, und verärgert waren Sie? Attraktivität Durchschaubarkeit Effizienz Steuerbarkeit Stimulation Originalität A 0,31 1,15 0,69 0,60 0,24 0,54 B 1,01 1,57 1 1,09 1,27 1,58 C 1,01 1,46 1 1,14 1,13 1,68 Tabelle 6.3.: Der Vergleich der UEQ-Ergebnisse für die visuelle Ausgabe (A), Luftfeedback (B) und Luftführung (C). 6.5.5. Abschlussfragebogen Im Abschlussfragebogen wurde jedem Probanden allgemeine Fragen gestellt und es gab die Mög- lichkeit, Kommentare und Anregungen einzubringen. Der gesamte Fragebogen ist in Anhang B.2 aufgelistet. Im weiteren Verlauf dieses Abschnittes werden die Fragen sowie das eingegangene quali- tative Feedback zusammengefasst. Die eingesetzten Likert-Skalen haben 9 Abstufungen, wobei bei den Items auf eine positive und negative Formulierung der Aussage geachtet wird. Bis auf neutral (5) werden immer zwei Abstufungen zusammen gefasst in die Bereiche starke Ablehnung (1 und 2), tendenzielle Ablehnung (3 und 4), tendenzielle Zustimmung (6 und 7) sowie starke Zustimmung (8 und 9). 65 6. Benutzerstudie zur Verwendung von Luftausgaben für die Freihand-Interaktion 1 2 3 4 5 6 7 8 9 1 2 3 TL X-W ert Durchgang Abbildung 6.8.: Der TLX-Wert über Versuchsdurchgänge ändert sich nur wenig. Der Whisker zeigt die Standardabweichung an. Bei der Frage, ob die Probanden die LeapMotion vor der Studie bereits gekannt haben, antworteten 11 Probanden mit Nein und 7 mit Ja. Kein Proband hat vor der Studie bereits einmal mit einer LeapMotion Eingaben getätigt. Die Frage, wie schwer die Eingabe mit der LeapMotion gefallen ist (Median = 5,5), zeigt, dass 3 Probanden die Eingabe als gar nicht schwer empfunden haben, wohingegen 2 Probanden die Eingabe als sehr schwer empfunden haben. Die Fragestellung ob sich die Probanden vorstellen könnten, dass Luft die Interaktion mit Objekten intuitiver macht (Median = 7), beantworteten 8 Probanden mit starker Zustimmung, 8 Probanden mit tendenzieller Zustimmung und 2 Probanden mit neutral. Die Frage an die Probanden, inwie- fern das Luftfeedback ihre gefühlte Leistung im Spiel beeinflusst hat (Median = 7) beantworteten 2 Probanden mit einer tendenziellen Verschlechterung ihrer Leistung, zwei Probanden mit einer neutralen Beeinflussung, 9 Probanden mit einer tendenziellen Verbesserung und 5 Probanden mit einer großen Verbesserung der erbrachten Leistung im Spiel. Ein ähnliches Bild zeigt sich bei gleichen Fragestellung bezüglich der Luftführung. So empfanden 3 Probanden eine neutrale Beeinflussung der Leistung durch Luftführung, 10 Probanden eine tendenzielle Verbesserung und 5 Probanden eine große Verbesserung ihrer Leistung. Im direkten Vergleich, ob die Probanden das Luftfeedback oder die Luftführung präferieren, wählen 7 Probanden das Luftfeedback, 8 Probanden die Luftführung und 3 Probanden finden beide Versionen gleich gut. Die Meinung der Probanden, mit Luft besser zu sein, spiegelt sich auch im qualitativen Feedback wieder. Der Tenor der Meinung ist wie von Proband 18: „ich war mit Luft besser“. Auf die weitere Nachfrage, warum die Probanden Luft besser finden, antwortet Proband 17, dass er sich mit Luft sicherer beim Treffen gefühlt hat. Proband 6 führt den Vorteil der Luft darauf zurück, dass er die Abstände zwischen den Zielen und demRaum, in dem er interagieren, kann durch die Positionsangaben mit Luft schneller lernen kann. Der meist genannte Änderungswunsch ist eine größere Genauigkeit 66 6.6. Diskussion der Luft. So beschreibt Proband 8, dass die Luft lediglich als grobe Orientierung nützlich war und das schlussendliche Zielen visuell durchgeführt werden musste. 6.6. Diskussion Bei den Ergebnissen der Punkte, Fehler und Genauigkeit können keine signifikanten Unterschiede festgestellt werden. Es kann ein Effekt bei der Reihenfolge der Szenarien erkannt werden. So ist ersichtlich, dass in den Fällen (Fall 2 und 3) bei welchen zuerst Luft-Ausgabeszenarien durchgeführt wurden, insgesamt signifikant mehr Punkte erreicht werden, als wenn mit dem visuellen Szenario begonnen wurde (Fall 1). In der Belastungsbewertung durch den Raw-NASA-TLX werden keine signifikanten Unterschiede festgestellt. Bei der subjektiven Bewertung durch den UEQ und das qualitative Feedback werden die Szenarien mit Luftausgabe besser bewertet als das Szenario mit visueller Ausgabe. Die objektiv messbaren Leistungen und die gefühlte Leistung der Probanden weisen Unterschiede auf. Die Probanden haben in den Szenarien mit Luft als taktiles Feedback weniger Punkte und mehr Fehler gemacht als beim Szenario mit visueller Ausgabe, fühlten sich jedoch in der Bewertung durch den UEQ und im qualitativen Feedback durchaus besser und sicherer, wenn Luft ausgegeben wird. Als vermutete Begründung für diese Diskrepanz sind zum einen die für viele Probanden neuartige Eingabemethode mit der LeapMotion und zum anderen die ungewohnte und neuartige Ausgabemodalität durch Luft zu nennen. Die durch die Probanden vorgeschlagenen Anwendungszwecke zur Verbesserung der Immersion mit Luftfeedback sind Videospiele, 4D-Kinos oder virtuelle Realität. Weitere Vorschläge für Anwendungen sind zum Beispiel Warnausgaben, wie die Abstandswarnung für Autos oder die Unterstützung von Menschen mit Beeinträchtigungen durch Luftausgabe in Assistenzsystemen oder zur Visualisierung von digitalen Inhalten für Blinde. 67 7. Zusammenfassung und Ausblick Dieses Kapitel soll einen Überblick über die vorgestellte Arbeit verschaffen. Dabei werden der Inhalt und die Ergebnisse in kurzer Form zusammengefasst, ein Fazit gezogen sowie die weiteren Potentiale für Luft-Feedback und den Luft-Prototyp dargestellt. Der Einsatz von taktilem Feedback bietet viele interessante Möglichkeiten um die Interaktion mit technischen Systemen aufzuwerten. Die Anwendungsbereiche sind sehr vielseitig und gehen von der Verbesserung des Spaßfaktors in Computerspielen bis zur Unterstützung von beeinträchtigten Personen, wie zum Beispiel blinder Menschen. Ein großer Bereich der Einsatzzwecke für taktiles Feedback ist die Verbesserung der Immersion in virtuellen Realitäten. Dabei kann es sich um das realistische Rendering von Umwelteinflüssen oder um die fühlbar-Machung von virtuellen Objekten handeln. Bei der Auswahl der Ausgabemodalität für taktiles Feedback gibt es verschiedenste Techni- ken, dazu zählen vibrotaktiles Feedback, EMS-Stimulation oder Windausgaben. Bei der Wahl einer Ausgabemodalität sollte die menschliche Wahrnehmung immer als zentrales Element maßgeblich sein. Die theoretische Analyse der menschlichenWahrnehmung und die Ableitung eines geeigneten taktilen Ausgabesystemes, insbesondere die Abschätzung der subjektiven Empfindungen von Benutzern vorherzusehen, ist sehr schwierig. Aus diesem Grund ist es sinnvoll verwandte Arbeiten im Bereich des taktilen Feedbacks im ersten Schritt zu untersuchen. Im Vergleich zum vibrotaktilen Feedback gibt es für Luftausgaben bisher sehr wenige Arbeiten und Erkenntnisse zur Wirkung auf die menschliche Wahrnehmung. Aus diesem Grund wird im ersten Teil der Arbeit ein generischer Prototyp zur Luftausgabe erstellt. Die Ausgabe der Luftstöße basiert auf der Steuerung von Magnetventilen durch einen Mikrocontroller, welcher durch eine Software-Library gesteuert wird. Der größte Teil der Steuerung des Prototypen entfällt dabei auf die Software-Library, in welcher vor allem auf die vielseitige Einsetzbarkeit geachtet wird. Dabei sind die Freiheitsgrade Dauer, Frequenz, Rhytmus und Muster unter Beachtung der Objektorientierung implementiert. Die Ausgaben der Freiheitsgrade erfolgt über eine Düse, die auf einer kippbaren Plattform montiert ist. Durch zwei Servos kann die Plattform, und somit die Richtung des Luftstrahls, so bewegt werden, dass die Ausgabe an verschiedenen Punkten im Raum erfolgen kann. In einer Benutzerstudie mit 15 Probanden wurden die oben genannten Freiheitsgrade auf ihre Einsetz- barkeit in Verbindung mit Luft-Feedback getestet. Die Hand der Probanden war in den Versuchen 20 cm oberhalb der Düse und der Luftdruck auf 1 bar festgelegt. Die Ergebnisse der Studie zeigen, dass die Probanden selbst Luftstöße von 10 ms Dauer sehr gut wahrnehmen können. Ein offensichtlicher Unterschied bei der Erkennung von Lufstößen zwischen Handfläche und Handrücken konnte in den Versuchen nicht festgestellt werden. Die JNDs für die Dauer wurden für zwei Referenzwerte Blockweise ausgewertet. Die benötigten Änderungsraten für den 200 ms-Block sind +40,0% und -25,0% (280 ms und 150 ms), sowie für den 400 ms-Block +22,5% und -17,5% (490 ms und 330 ms). Bei der 69 7. Zusammenfassung und Ausblick Ausgabe von Frequenzen über 10 Hz spüren mehr als die Hälfte der Probanden einen konstanten Luftstrom. Dieses Ergebnis wird auch bei den Versuchen zu den Frequenz-JNDs bestätigt. Um einen Unterschied zwischen Referenzfrequenz und Testfrequenz zu spüren, muss die Änderung bei 13 Hz +50% betragen, was im Vergleich zu der benötigten Änderung von +21,0% bei 9 Hz einen erheblichen Unterschied darstellt. Die durchschnittliche benötigten Änderungsraten für die Referenzfrequenzen 1, 5 und 9 Hz sind +18,7% -21,7%. Bei den JNDs handelt es sich um Werte, ab welchen über die Hälfte der Probanden unter Laborbedingungen eine Änderung gespürt haben und es ist deshalb bei der Verwendung von Luft als taktile Ausgabemodalität in Anwendungen erforderlich, größere, und damit für die Mehrheit spürbare, Unterschiede zur Codierung von Informationen zu wählen. Der Versuch zur Untersuchung der Unterscheidbarkeit verschiedener Luftmuster zeigt, dass die mittige Luftausgabe sowie strichförmige Ausgaben gut identifiziert werden können. Die Unterscheidung zwischen einer Dreiecksausgabe und einer Kreisausgabe ist sehr schwierig. Die Vermutung ist, dass die Ecken eines Dreieckes durch den Luftstrahl nicht scharf dargestellt werden können und sich somit wie ein Kreis anfühlen. Die Erstellung eines Prototypen zur Luft-Ausgabe zur Verbesserung von Freihandinteraktion ist der zweite Teil der Arbeit. Ein Kernelement ist das in Unity3D erstellte Computerspiel whac-a-mole, bei dem der Spieler verschiedene auftauchende Ziele treffen muss. Die Eingabe zur Steuerung des Computerspieles erfolgt durch die LeapMotion, da die Distanz der Erfassung durch die LeapMotion und die Distanz der Luftausgabe ähnlich sind. Die Schwierigkeit im Spiel ist das Finden der richtigen Position an welcher sich ein Ziel befindet. Um diese Zielaufgabe zu vereinfachen soll der Spieler durch Luftausgaben unterstützt werden. Dabei wurde in zwei der drei Spielszenarien, aufbauend auf die Erkenntnisse zu den Wirkungen der Luftausgabe aus der Vorstudie, der Freiheitsgrad Muster verwendet und die Ergebnisse mit einem Spielszenario ohne Luftausgabe verglichen. Beim Szenario Luft-Feedback wurde die Position des nächsten Zieles durch einen Luftstrahl direkt über dem Ziel angezeigt, sodass der Spieler den Luftstrahl in der Mitte der Hand spüren kann wenn, er sich über dem Ziel befindet. Im Szenario Luftführung wurde zusätzlich die Richtung des nächsten Zieles auf der Hand des Spielers ausgegeben. In der Benutzerstudie mit 18 Probanden wurden pro Szenario die erreichten Punkte, Fehler, Genauigkeit sowie das subjektive Empfinden durch die Fragebögen Raw-NASA- TLX und UEQ erfasst. Bei der Analyse der erreichten Punktzahlen in den drei Szenarien konnten keine statistisch signifikanten Unterschiede festgestellt werden. Bei der genaueren Untersuchung des Einflusses der Reihenfolge der Szenarien auf die erreichten Punktzahlen konnte gezeigt werden, dass jene Probanden, die mit Luftausgaben die Versuchsreihen begonnen haben, signifikant mehr Punkte erreichen konnten als jene, die mit dem visuellen Szenario angefangen haben. Eine Vermutung für dieses Ergebnis ist, dass die Probanden durch die Luftausgaben besser lernen, wie sie die richtige Position finden, aber das endgültige Zielen über die visuelle Ausgabe ausführen und dabei durch die Luftausgabe abgelenkt werden. Die Fehlerraten in den verschiedenen Szenarien werden nicht durch die Ausgabe von Luft beeinflusst, auch die Reihenfolge hat keine Auswirkungen auf die Anzahl der Fehler. Das gleiche Bild zeigt sich bei der Genauigkeit, so gibt es hier weder Unterschiede im direkten Vergleichen der Szenarien, noch hat die Reihenfolge der Szenarien statistisch signifikante Auswirkungen auf die Treffergenauigkeit der Spieler. Diese Ergebnisse unterstützen die Vermutung, welche auch durch einen Probanden geäußert wurde, dass die grobe Orientierung und Richtung des zu treffenden Zieles durch die Luftausgabe erfolgt und die schlussendliche Feinjustierung über die visuelle Ausgabe durchgeführt wird. Bei der Bewertung im UEQ werden die beiden Luftausgaben deutlich besser bewertet als die visuelle Ausgabe. Vor allem in den Punkten Attraktivität, Steuerbarkeit 70 und Originalität empfinden die Probanden eine deutliche Verbesserung durch die Erweiterung der Interaktion mittels Luft. Im Vergleich der beiden Luftausgaben ist das Luftfeedback bei der Bewertung der Durchschaubarkeit unwesentlich besser als die Luftführung, wird jedoch im gleichen Maß bei Bewertung der Steuerbarkeit schlechter bewertet. Diese Tendenz ist auch im qualitativen Feedback des Abschlussfragebogens zu erkennen, so sind die Antworten auf die Frage, welche Luftausgabe die Probanden bevorzugen, hälftig auf das Luftfeedback und die Luftführung verteilt. Insgesamt fühlen sich die Probanden durch die Luftausgaben gut unterstützt und empfinden eine Verbesserung der eigenen Leistung in diesen Szenarien. Als Grund für die Diskrepanz zwischen den objektiven, gemessenen Leistungen und der subjektiv empfundenen Leistungssteigerung durch Luftausgaben kann vermutet werden, dass der Einfluss der Eingabemodalität durch die LeapMotion, die für viele Probanden eine neuartige Technik darstellt, sehr starke Auswirkungen auf die messbaren Ergebnisse hatte. Im Rahmen dieser Diplomarbeit wurden die Möglichkeiten von Luft als taktile Ausgabemodalität beschrieben. Die Analyse der Freiheitsgrade der Luft wurden anhand einer Benutzerstudie mit einem selbst erstellten generischen Prototypen erfolgreich überprüft. Als Anwendungsbeispiel wurde die prototypische Implementierung eines Systems zur Freihand-Interaktion erstellt und evaluiert. Die Luft als Ausgabemodalität erhebt sich nicht universell über die anderen taktilen und haptischen Ausgabesysteme, sie birgt jedoch ein großes Potential für den richtigen Anwendungszweck. Ausblick Der Luft-Prototyp kann derzeit nicht den Freiheitsgrad Intensität dynamisch auf einer Düse ändern. Eine Möglichkeiten diesen Freiheitsgrade zu realisieren ist der Einsatz eines steuerbaren Massendurch- flussreglers, mit dessen Hilfe der Volumenstrom zur Ausgabe reguliert werden kann. Eine weitere Möglichkeit ist die Konstruktion einer Düse, deren Durchmesser dynamisch angepasst werden kann. Der Luft-Prototyp besitzt derzeit 6 Luftausgabekanäle und eine Servo-Plattform zur dynamischen Po- sitionsänderung der Luftausgabe. Durch Erstellung von weiteren Servo-Plattformen oder beweglichen Düsen könnte die Luftstrahlen aus mehreren Richtungen auf die Hand oder weiteren Körperstellen der Benutzer ausgegeben werden. Dadurch können interessante Luft-taktile Szenarien, wie Fokuspunkte oder das haptische Rendern von virtuellen Objekten, erfolgen. Bei diesem Ansatz ist zu beachten, dass sich die verschiedenen Luftstrahlen gegenseitig stören könnten. Die Untersuchung der Wirkungen von Umwelt- und Störeinflüssen auf die Wahrnehmung von Luft-taktilem Feedback sollte im Rahmen der Erstellung von Anwendungen erfolgen. Wesentliche Faktoren sind dabei die Luftfeuchtigkeit, Luftverunreinigungen, die Temperatur der Luft sowie fremde Luftströmungen wie sie durch Klimaan- lagen oder Wind gegeben sind. Als zusätzliche Möglichkeiten zur Erweiterung der Freiheitsgrade des Luft-Prototypen könnten den Luftstrahlen Gerüche, unterschiedliche Lufttemperaturen oder Rauch als Parameter gegeben werden. In der Arbeit wurde die taktile Unterstützung von Freihandgesten als Anwendungszweck vorgeschla- gen. Einer der Hauptgründe ist die Eigenschaft von Luftstößen auf mittleren Distanzen zu wirken ohne eine direkte Berührung, wie zum Beispiel bei vibrotaktilem Feedback, zu benötigen. Ein Nachteil von Luftfeedback ist die relativ schwierige Erzeugung von Druckluft und die festgelegten physi- kalischen Eigenschaften der Druckluft. Kleine Druckluftquellen, Düsen und Luftschläuche können 71 7. Zusammenfassung und Ausblick zwar gebaut werden, sind jedoch sehr in der Leistung, vor allem der maximal möglichen Intensität, eingeschränkt. Die Anwendungen in mobilen Umgebungen wie Smartphones oder Smartglasses werden immer durch die für die Luftausgabe benötigten Komponenten in der Funktionsweise ein- geschränkt. Vorschläge für weitere Anwendungsmöglichkeiten ist die Integration in Virtual Reality Anwendungen zur Verbesserung von Spaß und Immersion oder zur Navigationshilfe, gegebenenfalls unter Berücksichtigung der aufweckenden Wirkung, bei entsprechend gewählten Freiheitsgraden. So ist es vorstellbar, eine Luft-Navigationsunterstützung und Luftwarnung in Fahrzeuge zu integrieren, um dem Fahrer Informationen oder Warnungen auszugeben. 72 A. Software-Library API A.1. MainClass //Diese Klasse steuert die Library. //Enthaelt Connection, Pattern Interpreter, Pattern Creater etc. public class MainClass { //Das ist unsere Verbindungsverwaltung ConnectionControl mConnectionControl; //Das Rueckgabedelegate LogCallbackFunction mLogCallback; //Pattern Interpreter Pattern.PatternInterpreter myPatternInterpreter; //Pattern Creator Pattern.PatternManager myPatternCreator; //Handverfolgung Handverfolgung.Handverfolgung mHanderverfolgung; //Eine BlockingCollection mit allen im Moment aktiven Aircons BlockingCollection airConListe = new BlockingCollection (); /// /// Erstellt ein Objekt der MainClass. Ein LogCallbackFunction-Delegat wird zur Datenrueckgabe uebergeben. /// /// Delegat der Rueckgabefunktion oder null public MainClass(LogCallbackFunction processDataMethod) {...} /// /// Erstellt eine USB-Verbindung zum gegebenen Port. /// /// COM-Port public void ConnectUSB(string Portname) {...} 73 A. Software-Library API /// /// Schalte den Pin auf dem Arduino auf OUTPUT true oder false /// /// Arduino Port /// OUTPUT public void registerPin(ArduinoPins pin, bool state) {...} /// /// Erstellt ein Frequenz Aircon mit gegebener Anzeit und Auszeit /// /// Luft an in ms /// Luft aus in ms /// Ausgabepin /// Dauer des Ausgabe /// Das erzeugte Frequenz-Aircon public Aircons.Frequenz runFrequenzAircon(int Anzeit, int Auszeit, ArduinoPins pin, int duration) {...} /// /// Erstellt ein Frequenz Aircon mit gegebenen Hertz und startet die Ausgabe. /// /// Frequenz in Hertz /// Ausgabepin /// Dauer des Ausgabe /// Das erzeugte Frequenz-Aircon public Aircons.Frequenz runFrequenzAircon(int Hertz, ArduinoPins pin, int duration) {...} /// /// Beendet die Wiedergabe des uebergebenen Frequenz-Aircon /// /// Stoppe dieses Frequenz-Aircon public void stopFrequenzAircon(Aircons.Frequenz freqCon) {...} /// /// Entfernt das Aircon aus der Liste /// /// Entferne dieses Frquenz-Aircon private void RemoveIAircon(Aircons.IAircons freqCon) {...} /// /// Erstellt ein Dauer-Aircon fuer millisec auf Pin und startet die Ausgabe. /// /// Dauer des Dauer-Aircon /// Ausgabepin /// Das erstellte Dauer-Aircon public Aircons.Dauer runDauerAircon(int millisec, ArduinoPins pin) {...} 74 A.1. MainClass /// /// Startet die Ausgabe fuer ein bereits existierendes Aircon. /// /// Das zu startende Aircon /// Das gestartete Aircon public Aircons.IAircons runAircon(Aircons.IAircons theAircon) {...} /// /// Beendet die Wiedergabe des Dauer-Aircon /// /// Beende dieses Dauer-Aircon public void stopDauerAircon(Aircons.Dauer dauercon) {...} /// /// Versucht die Ausgabe aller Aircons zu beenden /// public void stopAlleAircons() {...} /// /// Reset auf dem Arduino. Beendet unter anderem die Wiedergabe aller Aircons. /// public void resetArduino() {...} /// /// Setzt die Achsen der Servos. Maximal -35 bis +35 Grad! /// /// Achsenwinkel in Grad. /// Achsenwinkel in Grad. public void SetServoAngles(int ServoXY, int ServoZY) {...} /// /// Spielt das gegebene Pattern ab /// /// Das zu startende Pattern public void runPattern(Pattern.Pattern thePattern) {...} /// /// Versucht die Ausgabe des Patterns zu beenden. /// /// Das zu beendende Pattern public void stopPattern(Pattern.Pattern thePattern) {...} 75 A. Software-Library API /// /// Erstellt ein Dauer-Aircon und gibt dieses zurueck ohne es zu starten. /// /// Die Dauer des Ausgabe. /// Ausgabepin /// Das erstellte Dauer-Aircon public Aircons.Dauer createDauerAircon(int millisec, ArduinoPins pin) {...} /// /// Faehrt die gegebene Servoliste mit millisec Geschwindigkeit ab und gibt einen dauerhaften Luftstrahl auf pin. /// /// Liste der Servowinkel in Grad, i = xy, i+1 = zy /// Pause zwischen den Winkelverstellungen. /// Ausgabepin /// Das erstellte DauerBody-Aircon public Aircons.DauerBody createBodyDauerAircon(List Servoliste, int millisec, ArduinoPins pin, bool repeat, int dauer) {...} /// /// Erstellt ein Frequenz-Aircon und gibt dieses zurueck ohne es zu starten. /// /// Anzeit in ms /// Auszeit in ms /// Ausgabepin /// Das erstellte Frequenz-Aircon public Aircons.Frequenz createFrequenzAircon(int Anzeit, int Auszeit, ArduinoPins pin, int duration) {...} /// /// Erstellt ein Frequenz-Aircon und gibt dieses zurueck ohne es zu starten. /// /// Anzeit in ms /// Auszeit in ms /// Ausgabepin /// Das erstellte Frequenz-Aircon public Aircons.Frequenz createFrequenzAircon(double Hertz, ArduinoPins pin, int duration) {...} /// /// Erstellt ein Dauer-Aircon und gibt dieses zurueck ohne es zu starten. /// /// Dauer der Ausgabe /// Ausgabepin /// Das erstellte Dauer-Aircon public Aircons.Pause createPauserAircon(int millisec, ArduinoPins pin) {...} 76 A.1. MainClass /// /// Schliesst die Verbindung und gibt die Objekte frei /// public void disconnect() {...} /// /// Erstellt eine neue Handverfolgung. SucherXYZ sind die Koordinaten der Achsenueberschneidung. /// /// X-Koordinate der Servoplattform /// Y-Koordinate der Servoplattform /// Z-Koordinate der Servoplattform public void StarteHandverfolgung(double SucherX, double SucherY, double SucherZ) {...} /// /// Setzt die Position der Servo-Plattform neu. SucherXYZ sind die Koordinaten der Achsenueberschneidung. /// /// X-Koordinate der Servoplattform /// Y-Koordinate der Servoplattform /// Z-Koordinate der Servoplattform public void SetzeSucherposition(double SucherX, double SucherY, double SucherZ) {...} /// /// Beende die Handverfolgung und faehrt die Servos zurueck an den Nullpunkt. /// public void StopHandverfolgung() {...} /// /// Gibt der Handverfolgung eine neue Handposition zur Vertrimmung /// /// Die neue Handposition public void SetNewHand(Handverfolgung.Hand Hand) {...} 77 79 B. Fragebögen B. Fragebögen B.1. Abschlussfragebogen Vorstudie 1 Questionnaire – Taktile Air Feedback Usernumber: _________________ Q1: Please rate the feeling of the air's cooling effect. unpleasant pleasant O O O O O Q2: Did you prefer air-feedback on your hand’s palm or back of the hand? [ ] palm [ ] back of hand [ ] equal/unsure Q3: How would you describe the applied force? strong weak O O O O O Q4: What was your first reaction when the airstream hit your hand? [ ] move towards the airsource [ ] move away from the airsource [ ] do not move Q5: How difficult was it to distinguish different Patterns? difficult easy circle & triangle O O O O O circle & line O O O O O circle & center O O O O O triangle & center O O O O O triangle & line O O O O O line & center O O O O O 80 B.1. Abschlussfragebogen Vorstudie 2 Q6: Could you imagine using air feedback in any application? [ ] yes [ ] no Q7: In what application could you imagine using air feedback? [ ] games [ ] feedback for freehand-gestures [ ] entertainment (cinema) [ ] virtual reality (Occulus Rift) [ ] other (please specify) __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ Q8: Suggestions and comments on air feedback: __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ Thank you for participating! 81 B. Fragebögen B.2. Abschlussfragebogen 82 B.2. Abschlussfragebogen 83 B. Fragebögen 84 B.2. Abschlussfragebogen 85 Literaturverzeichnis [Atl09] AtlasCopco. Handbuch der Druckluftttechnik. Atlas Copco Kompressoren und Druck- lufttechnik GmBH Communications, Langemarckstr. 35 45141 Essen, 2009. (Zitiert auf Seite 18) [BB04] S. Brewster, L. M. Brown. Tactons: Structured Tactile Messages for Non-visual Information Display. In Proceedings of the Fifth Conference on Australasian User Interface - Volume 28, AUIC ’04, S. 15–23. Australian Computer Society, Inc., Darlinghurst, Australia, Australia, 2004. URL http://dl.acm.org/citation.cfm?id=976310.976313. (Zitiert auf den Seiten 25 und 41) [Car04] N. R. Carlson. Physiologische Psychologie. Pearson Studium, 2004. (Zitiert auf Seite 16) [Cro13] D. Cronin. Usability of Micro-vs. Macro-Gestures in Camera-Based Gesture Interaction. Diplomarbeit, California Polytechnic State University, San Luis Obispo, 2013. (Zitiert auf Seite 21) [FYMA07] F. Farbiz, Z. H. Yu, C. Manders, W. Ahmad. An Electrical Muscle Stimulation Haptic Feedback for Mixed Reality Tennis Game. In ACM SIGGRAPH 2007 Posters, SIGGRAPH ’07. ACM, New York, NY, USA, 2007. doi:10.1145/1280720.1280873. URL http://doi. acm.org/10.1145/1280720.1280873. (Zitiert auf Seite 23) [Gal12] P. Galambos. Vibrotactile feedback for haptics and telemanipulation: Survey, concept and experiment. Acta Polytechnica Hungarica, 9(1):41–65, 2012. (Zitiert auf Seite 22) [GDBO12] J. Gwilliam, A. Degirmenci, M. Bianchi, A. Okamura. Design and control of an air- jet lump display. In Haptics Symposium (HAPTICS), 2012 IEEE, S. 45–49. 2012. doi: 10.1109/HAPTIC.2012.6183768. (Zitiert auf Seite 25) [GLH70] J. W. Gauntner, J. N. Livingood, P. Hrycak. Survey of literature on flow characteristics of a single turbulent jet impinging on a flat plate. Washington, DC, 1970. (Zitiert auf Seite 19) [Har06] S. G. Hart. Nasa-Task Load Index (NASA-TLX); 20 Years Later. Proceedings of the Hu- man Factors and Ergonomics Society Annual Meeting, 50(9):904–908, 2006. doi:10.1177/ 154193120605000909. URL http://pro.sagepub.com/content/50/9/904.abstract. (Zitiert auf Seite 60) [HB07] A. Hein, M. Brell. conTACT - A Vibrotactile Display for Computer Aided Surgery. In EuroHaptics Conference, 2007 and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. World Haptics 2007. Second Joint, S. 531–536. 2007. doi:10.1109/ WHC.2007.33. (Zitiert auf Seite 22) 87 Literaturverzeichnis [HBG+13] F. HERNOUX, R. BEAREE, L. GAJNY, J. BANCALIN, E. NYIRI, O. Gibaru. Leap Motion pour la capture de mouvement 3D par spline L1. In Journees du Groupe de Travail en Modelisation Geometrique. 2013. (Zitiert auf Seite 21) [Hos11] T. Hoshi. Development of aerial-input and aerial-tactile-feedback system. In World Haptics Conference (WHC), 2011 IEEE, S. 569–573. 2011. doi:10.1109/WHC.2011.5945548. (Zitiert auf Seite 23) [HPGK94] K. Hinckley, R. Pausch, J. C. Goble, N. F. Kassell. A Survey of Design Issues in Spatial Input. In Proceedings of the 7th Annual ACM Symposium on User Interface Software and Technology, UIST ’94, S. 213–222. ACM, New York, NY, USA, 1994. doi:10.1145/192426.192501. URL http://doi.acm.org/10.1145/192426.192501. (Zitiert auf Seite 21) [HRO+11] J. Heikkinen, J. Rantala, T. Olsson, R. Raisamo, V. Surakka. Exploring the Effects of Cumulative Contextual Cues on Interpreting Vibrotactile Messages. In Proceedings of the 13th International Conference on Human Computer Interaction with Mobile Devices and Services, MobileHCI ’11, S. 1–10. ACM, New York, NY, USA, 2011. doi:10.1145/2037373. 2037375. URL http://doi.acm.org/10.1145/2037373.2037375. (Zitiert auf Seite 27) [HS88] S. G. Hart, L. E. Staveland. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. In P. A. Hancock, N. Meshkati, Herausgeber, Human Mental Workload, Band 52 von Advances in Psychology, S. 139 – 183. North-Holland, 1988. (Zitiert auf Seite 60) [HTIS10] T. Hoshi, M. Takahashi, T. Iwamoto, H. Shinoda. Noncontact Tactile Display Based on Radiation Pressure of Airborne Ultrasound. EEE Trans. Haptics, 3(3):155–165, 2010. doi:10.1109/TOH.2010.4. URL http://dx.doi.org/10.1109/TOH.2010.4. (Zitiert auf Seite 23) [HTS05] C. Ho, H. Z. Tan, C. Spence. Using spatial vibrotactile cues to direct visual atten- tion in driving scenes. Transportation Research Part F: Traffic Psychology and Beha- viour, 8(6):397 – 412, 2005. doi:http://dx.doi.org/10.1016/j.trf.2005.05.002. URL http: //www.sciencedirect.com/science/article/pii/S1369847805000525. (Zitiert auf Seite 22) [IKL09] K. Inoue, F. Kato, S. Lee. Haptic device using flexible sheet and air jet for presenting virtual lumps under skin. In Intelligent Robots and Systems, 2009. IROS 2009. IEEE/RSJ International Conference on, S. 1749–1754. 2009. doi:10.1109/IROS.2009.5353992. (Zitiert auf Seite 25) [JNL04] L. Jones, M. Nakamura, B. Lockyer. Development of a tactile vest. In Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2004. HAPTICS ’04. Proceedings. 12th International Symposium on, S. 82–89. 2004. doi:10.1109/HAPTIC.2004.1287181. (Zitiert auf Seite 22) [Lea14] LeapMotion. LeapMotion API Overview. https://developer.leapmotion.com/ documentation/skeletal/csharp/devguide/Leap_Overview.html (abgerufen am 05.06.2014), 2014. (Zitiert auf Seite 54) 88 Literaturverzeichnis [LSH06] B. Laugwitz, M. Schrepp, T. Held. Konstruktion eines Fragebogens zur Messung der User Experience von Softwareprodukten. In A. M. Heinecke, H. Paul, Herausgeber, Mensch und Computer 2006: Mensch und Computer im Strukturwandel, S. 125–134. Oldenbourg Verlag, 2006. (Zitiert auf Seite 60) [Nor10] D. A. Norman. Natural User Interfaces Are Not Natural. interactions, 17(3):6–10, 2010. doi:10.1145/1744161.1744163. URL http://doi.acm.org/10.1145/1744161.1744163. (Zitiert auf Seite 13) [NWP+11] M. Nancel, J. Wagner, E. Pietriga, O. Chapuis, W. Mackay. Mid-air Pan-and-zoom on Wall- sized Displays. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’11, S. 177–186. ACM, NewYork, NY, USA, 2011. doi:10.1145/1978942.1978969. URL http://doi.acm.org/10.1145/1978942.1978969. (Zitiert auf Seite 21) [PSA13] M. Pfeiffer, S. Schneegaß, F. Alt. Supporting Interaction in Public Space with Electrical Muscle Stimulation. In Proceedings of the 2013 ACMConference on Pervasive and Ubiquitous Computing Adjunct Publication, UbiComp ’13 Adjunct, S. 5–8. ACM, New York, NY, USA, 2013. doi:10.1145/2494091.2494094. URL http://doi.acm.org/10.1145/2494091. 2494094. (Zitiert auf Seite 23) [PSAR14a] M. Pfeiffer, S. Schneegass, F. Alt, M. Rohs. ADesign Space for Electrical Muscle Stimulation Feedback for Freehand Interaction. In Proceedings of the First CHI Workshop on Assistive Augmentation, Assistive Augmentation ’14. 2014. (Zitiert auf Seite 23) [PSAR14b] M. Pfeiffer, S. Schneegass, F. Alt, M. Rohs. Let Me Grab This: A Comparison of EMS and Vibration for Haptic Feedback in Free-hand Interaction. In Proceedings of the 5th Augmented Human International Conference, AH ’14, S. 48:1–48:8. ACM, New York, NY, USA, 2014. doi:10.1145/2582051.2582099. URL http://doi.acm.org/10.1145/2582051. 2582099. (Zitiert auf Seite 23) [RCH13] H. Regenbrecht, J. Collins, S. Hoermann. A Leap-supported, hybrid AR interface ap- proach. In Proceedings of the 25th Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration, S. 281–284. ACM, 2013. (Zitiert auf Seite 21) [Reg] U. Regensburg. Fakultaet fuer Physik, Schallstrahlungsdruck in Luft. URL http://www. physik.uni-regensburg.de/infra/vorlvorb/VorlVorb/Versuche/VK_13_4_C.htm. (Zitiert auf Seite 23) [SK05] Y. Suzuki, M. Kobayashi. Air jet driven force feedback in virtual reality. Computer Graphics and Applications, IEEE, 25(1):44–47, 2005. doi:10.1109/MCG.2005.1. (Zitiert auf Seite 24) [SK10] B. Schwartz, J. H. Krantz. Sensation and Perception. Hanover College, 2010. (Zitiert auf Seite 16) [SPGI13] R. Sodhi, I. Poupyrev, M. Glisson, A. Israr. AIREAL: Interactive Tactile Experiences in Free Air. ACM Trans. Graph., 32(4):134:1–134:10, 2013. doi:10.1145/2461912.2462007. URL http://doi.acm.org/10.1145/2461912.2462007. (Zitiert auf Seite 24) 89 Literaturverzeichnis [TOA13] M. Tsalamlal, N. Ouarti, M. Ammi. Psychophysical study of air jet based tactile stimulation. InWorld Haptics Conference (WHC), 2013, S. 639–644. 2013. doi:10.1109/WHC.2013.6548483. (Zitiert auf den Seiten 18, 20, 23 und 26) [TOMA13] M. Tsalamlal, N. Ouarti, J.-C. Martin, M. Ammi. EmotionAir: Perception of Emotions from Air Jet Based Tactile Stimulation. In Affective Computing and Intelligent Interaction (ACII), 2013 Humaine Association Conference on, S. 215–220. 2013. doi:10.1109/ACII.2013.42. (Zitiert auf Seite 27) [TSN+10] Y. Tokuda, Y. Suzuki, K. Nishimura, T. Tanikawa, M. Hirose. Cloud Display. In Proceedings of the 7th International Conference on Advances in Computer Entertainment Technology, ACE ’10, S. 32–35. ACM, New York, NY, USA, 2010. doi:10.1145/1971630.1971640. URL http://doi.acm.org/10.1145/1971630.1971640. (Zitiert auf Seite 24) [UB04] J. H. Ulrich Bierbaum. Druckluft Kompendium. BOGE, Otto-Boge-Str 1-7, 3379 Bielefeld, 2004. (Zitiert auf den Seiten 18 und 19) [UL14] Universal-Lexikon. Temperatursinn. http://universal_lexikon.deacademic.com/ 127512/Temperatursinn (abgerufen am 15.4.2014), 2014. (Zitiert auf Seite 17) [VE01] H. van Veen, J. van Erp. Tactile information presentation in the cockpit. In S. Brewster, R. Murray-Smith, Herausgeber, Haptic Human-Computer Interaction, Band 2058 von Lecture Notes in Computer Science, S. 174–181. Springer Berlin Heidelberg, 2001. doi: 10.1007/3-540-44589-7_19. URL http://dx.doi.org/10.1007/3-540-44589-7_19. (Zi- tiert auf Seite 22) [VEVV01] J. B. Van Erp, H. Van Veen. Vibro-tactile information presentation in automobiles. In Proceedings of Eurohaptics, Band 2001, S. 99–104. DTIC Document, 2001. (Zitiert auf Seite 22) [VLR13] S. Vikram, L. Li, S. Russell. Handwriting and Gestures in the Air, Recognizing on the Fly. In Proceedings of the CHI. 2013. (Zitiert auf Seite 21) [WBRF13] F. Weichert, D. Bachmann, B. Rudak, D. Fisseler. Analysis of the accuracy and robustness of the leap motion controller. Sensors, 13(5):6380–6393, 2013. (Zitiert auf Seite 54) Alle URLs wurden zuletzt am 08. 07. 2014 geprüft. 90 Erklärung Ich versichere, diese Arbeit selbstständig verfasst zu haben. Ich habe keine anderen als die angegebenen Quellen benutzt und alle wörtlich oder sinngemäß aus anderen Werken übernommene Aussagen als solche gekennzeichnet. Weder diese Arbeit noch wesentliche Teile daraus waren bisher Gegenstand eines anderen Prüfungsverfahrens. Ich habe diese Arbeit bisher weder teilwei- se noch vollständig veröffentlicht. Das elektronische Exemplar stimmt mit allen eingereichten Exemplaren überein. Ort, Datum, Unterschrift