Immersive visual analysis of cello bow movements

Abstract

To support cellists in analyzing their interpretation of a musical piece and comparing it to others, this work presents and explores possibilities to visualize musical data and motion-captured bow movements in virtual reality. The presented prototype utilizes consumer VR technology and, optionally, the OptiTrack motion capture system to record a cellist’s playing, providing different visualizations that can be viewed in real time as well as played back from recorded data. In this thesis, we propose a one-by-one mapping of the 3D path of the bow, supported by various synchronized 2D line charts that are placed in virtual reality. We map motion features, audio features, and computed metrics to the color and width of the respective segments of the 2D and 3D lines. To evaluate the proposed design a user study with two domain experts was conducted, showing potential use of the design and providing us with ideas for future improvements, such as an extension to augmented reality.

Um Cellistinnen und Cellisten dabei zu unterstützen, ihre eigene Interpretation eines Musikstücks zu analysieren und mit anderen zu vergleichen, präsentieren und erforschen wir in dieser Arbeit Möglichkeiten, musikbezogene Daten und mit Motion Capturing aufgezeichnete Bogenbewegungen in Virtual Reality zu visualisieren. Der vorgestellte Prototyp nutzt Verbraucher-VR-Technologie und optional das OptiTrack Motion Capture System um die Bewegungen beim Spielen aufzuzeichnen und zu visualisieren. Die entstandenen Visualisierungen können dabei entweder bereits während des Spielens in Echtzeit angesehen werden, oder danach erneut abgespielt werden. Wir präsentieren mitunter eine direkte Abbildung des Pfads des Bogens im dreidimensionalen Raum, welche durch verschiedene visuelle Kanäle zusätzliche Informationen darstellen kann. Desweiteren nutzt unser Design verschiedene 2D Liniendiagramme, die neben dem 3D Pfad im virtuellen Raum platziert werden können und mit diesem synchronisiert sind. Um das vorgeschlagene Design zu evaluieren wurde eine Nutzerstudie mit zwei erfahrenen Cellistinnen beziehungsweise Cellisten durchgeführt. Dabei wurden Anwendungsmöglichkeiten und Ideen für zukünftige Verbesserungen aufgezeigt.