Acquisition, analysis and visualization of data from physiological sensors for biofeedback applications

Abstract

With the latest advances in technology and the rise of physiological sensors for everyday life, biofeedback is celebrating its revival and is a topic of great interest. The aim of this thesis is a mash-up of biofeedback techniques, modern physiological sensors and 3D technology. It investigates how to create a flexible and reusable biofeedback framework that can be used as extendable platform for future physiological sensors and research projects. It results in a fully operational biofeedback system that can be used to improve body awareness and control. The thesis explains what biofeedback is, investigates physiological sensor modalities and recording techniques, and provides a comprehensive analysis of related work in this domain. Simultaneous acquisition of data from multiple physiological sensors introduces new data management challenges on how to access stored data in an efficient way while still having enough processing power available for data visualization. Rather than just mapping a single value from a sensor like in traditional biofeedback systems, the thesis explains how to create an interactive classification graph, where customizable classifiers combine results from signal processing and map them to one or multiple feedback scores. The thesis extends the traditional biofeedback loop by a control and adjust mechanism and encapsulates analysis and classification from visualization. The two tier architecture allows the creation of state-of-the-art visualizations with any rendering engine. Several sample visualizations are created, including a virtual reality scene using the Oculus Rift in order to investigate the impact of virtual reality in biofeedback. An evaluation with 8 participants, each doing 7 tests, showed that key for successful biofeedback are (1) interaction with a human feedback controller who monitors the session, (2) interaction with a fast responding and simple visualization, and (3) customization of classification. The thesis provides guidelines on how to design useful biofeedback visualizations along with an investigation of the operational capability of physiological sensors and the effect of virtual reality. As a result of this research, a biofeedback framework with a visual and interactive graph-based classification system was created that enables feedback controllers to easily change the classification process and customize it for their users.

Aufgrund neuester technologischer Fortschritte und der steigenden Verfügbarkeit von physiologischen Sensoren für das alltägliche Leben, wird das Thema Biofeedback wieder aktuell und mit großem Interesse verfolgt. Ziel dieser Diplomarbeit ist die nahtlose Verbindung aus Biofeedback-Techniken, modernen physiologischen Sensoren und 3D Technologien. Ein flexibles und wiederverwendbares System wird erstellt, das als erweiterbare Plattform für zukünftige Sensoren und Forschungsprojekte verwendet werden kann. Das Resultat ist eine funktionsfähige Biofeedback-Software, welche die eigene Körperwahrnehmung und Körperkontrolle verbessern kann. Ferner erklärt diese Arbeit was Biofeedback ist, untersucht Modalitäten und Aufnahmetechniken von physiologischen Sensoren und stellt eine umfassende Recherche und Analyse von verwandten Arbeiten und Projekten bereit. Die zeitgleiche Datenerfassung mehrerer physiologischer Sensoren erfordert eine effiziente Speichernutzung um der Daten-Visualisierung genügend Rechenleistung zur Verfügung stellen zu können. Im Gegensatz zu traditionellen Biofeedback-Systemen, welche leiglich einen Wert von einem Sensor abbilden, erklärt diese Arbeit, wie ein interaktiver Klassifizierungs-Graph verwendet werden kann, um anpassbare Klassifikatoren zu erstellen und die Ergebnisse von der Signalverarbeitung auf einen oder mehrere Feedback-Werte abzubilden. Die Arbeit erweitert die traditionelle Biofeedback-Schleife um einen Kontroll- und Veränderungsmechanismus und trennt die Analyse und Klassifizierung von der Visualisierung. Die Zwei-Schichten Architektur ermöglicht es state-of-the-art Visualisierungen mit beliebigen Render-Engines zu erstellen. Mehrere Beispiel-Visualisierungen werden entwickelt, inklusive einer Virtual Reality Szene, welche ein Oculus Rift verwendet, um die Auswirkungen von Virtual Reality auf Biofeedback zu untersuchen. Die Evaluation, bei der 8 Probanden jeweils 7 Testszenarien durchliefen, zeigt, dass mehrere Faktoren für erfolgreiches Biofeedback entscheidend sind. Dazu gehören (1) die Interaktion mit einem menschlichen Feedback-Controller, (2) die Interaktion mit einer schnell reagierenden und simplen Visualisierung sowie (3) die Anpassung der Klassifikatoren. Die Diplomarbeit liefert einen Leitfaden für die Gestaltung von Biofeedback-Visualisierungen, über den Effekt von Virtual Reality und eine Untersuchung der Funktionsfähigkeit von physiologischen Sensoren. Das Ergebnis dieser Arbeit ist ein Biofeedback-System mit einer visuellen und interaktiven Graph-basierten Klassifikation, welches es Feedback-Controller erlaubt den Klassifizierungsprozess an den jeweiligen Benutzer anzupassen.