Real-time and post-hoc-visualizations of guitar performances as a support for music education

Abstract

Gitarre spielen zu lernen ist ein langer und aufwändiger Prozess der vielen angehenden Spielern schwer fällt. Eine spezialisierte Softwareanwendung kann Musikschülern und eigenständigen Lernern helfen, indem sie zusätzliche Einblicke in die Fehler, welche beim Lernprozess gemacht werden, gewährt. Diese Bachelorarbeit beschreibt die Entwicklung des Prototypen eines Visualisationssystems für die Nutzung in der Musikausbildung. Sie beinhaltet einen Überblick über die theoretischen Hintergründe und technischen Voraussetzungen unseres Systems und beschreibt die Konzeption, Implementierung und Evaluierung unseres Prototypen. Wir verwenden MIDI Daten, welche wir von einem mehrkanaligen, an der Gitarre befestigten Tonabnehmer empfangen. Der Prototyp besteht aus drei Visualisierungen, welche erlauben, die MIDI Daten live zu analysieren, eine Fehlererkennung durchzuführen und allgemeine Muster in einer zusammenfassenden Heatmap aus mehreren MIDI Aufnahmen zu erkennen. Als Bestandteil eines nutzerorientierten Designs, haben wir zuerst Anforderungen durch Befragung einer Gruppe von Gitarrenspielern und eines Gitarrenlehrers gesammelt und unseren Prototypen später mit denselben evaluiert. Diese Evaluierung ließ einige Einschränkungen erkennen, zeigte aber auch, dass unser Konzept hilfreich bei der Unterstützung von Anfängern sein kann.

Learning to play the guitar is a long and tedious process and many would-be players struggle at it. Specialized software applications can help music students and self-taught musicians by providing additional insights at the errors made during the learning process. This bachelor thesis describes the development of a prototypical visualization application for the use in musical education. It provides an overview of the theoretical background and technical requirements and describes the conception, implementation and evaluation of our prototype. We use MIDI data, which we receive from a polyphonic pickup that we mounted to a guitar. Our prototype consists of three visualizations that allow to analyze live input of this MIDI data, perform error detection, and see general patterns in a summary heat map of multiple MIDI recordings. As part of a user-centered design, we first collected requirements from a group of guitar players and a guitar teacher, and later evaluated our prototype with them. This evaluation revealed several limitations, but also showed that our concept can be useful to support beginners in learning to play guitar.