Developing a multimodal feedback motion guidance system in VR for people with motion disabilities

Abstract

Motion is an important aspect in the area of physiotherapy. The correctness of those motions is even more important, especially in the home exercises. In this thesis, the prototype of a multimodal guidance system in virtual reality, which tracks the movements of the users and compares it to the correct position in the field of physiotherapy exercises was created. The get the requirements for the system, people who needed to go to physiotherapy, because of an injury or a disability (stroke, MS, NPC), were interviewed, as well as a physiotherapist. Based on the results, we have implemented a virtual physiotherapist and the auditory guidance as two modalities. Further modalities have been the ghostarm and the haptic guidance as vibration bands. The prototype in which the user can choose and combine the guidances have been developed. The system, the modalities and its limits have been evaluated in a online study and a pilot study, with the results, that until now the ghostarm and virtual physiotherapist are the most liked guidances. A user study is planned for the future.

Ein wichtiger Bereich in der Physiotherapie ist die Bewegung. Noch wichtiger, insbesondere bei Hausübungen, ist die korrekte Ausführung der Bewegungen. In dieser Arbeit wurde der Prototyp eines multimodalen Anleitungssystems in der VR entwickelt, welcher die Bewegungen der Benutzer verfolgt und diese mit Zielpositionen vergleicht. Um Anforderungen für das System zu bekommen, wurden Personen, die wegen Verletzungen oder Beeinträchtigungen (Schlaganfall, MS, NPC) in physiotherapeutischer Behandlung sind, genauso wie ein Physiotherapeut interviewt. Basierend auf diesen Ergebnissen haben wir einen virtuellen Physiotherapeuten, sowie die Sprachanleitung als zwei Modalitäten implementiert. Weitere Modalitäten sind der Ghostarm, ebenso die haptische Anleitung im Sinne von Vibrationsbändern. Entwickelt wurde ein Prototyp, in welchem der Benutzer zwischen den Anleitungen auswählen und diese auch kombinieren kann. Das System, die Modalitäten und die Limits wurden in einer Onlinestudie sowie einer Pilotstudie evaluiert. Der Ghostarm und der virtueller Physiotherapeut sind den Ergebnissen zufolge die beliebtesten Anleitungen. Eine Benutzerstudie ist für die Zukunft geplant.