Real-time and post-hoc-visualizations of keyboard performances as a support for music education

Abstract

Wir haben einen Prototyp für die Visualisierung von Fehlern beim Üben am Klavier entwickelt. Dieser Prototyp soll Klavieranfängern, die noch kein gut entwickeltes Gehör haben, den Einstieg erleichtern und ihnen helfen, ihre eigenen Fehler besser zu erkennen. In unseren Visualisierungen können Noten in klassischer Notation, in Blocknotation oder als Piano Roll dargestellt werden. Noten in der Blocknotation haben die Form eines Rechtecks mit abgerundeten Ecken und werden anstelle der klassischen Notenköpfe mit einer ihrer Dauer entsprechenden Länge gezeichnet. Der Benutzer kann sein Klavierspiel live visualisieren, speichern und die Aufnahmen später analysieren. Aufnahme- und ground truth Noten werden je nach Notation und Visualisierung nebeneinander oder aufeinander visualisiert. Wir haben einen Algorithmus entwickelt, der aufgezeichnete und ground truth Noten miteinander vergleicht, damit die enthaltene Fehler farbkodierte werden können. Basierend auf der Piano Roll entwarfen wir eine Heatmap-Visualisierung, bei der alle Noten in Zeitscheiben unterteilt werden und diese Scheiben unterschiedliche Farben erhalten, je nachdem, ob die Aufnahme- und die ground truth Note in derselben Zeitscheibe liegen. In unserer Auswertung durch eine Fallstudie kamen wir zu dem Schluss, dass nur die Piano Roll Notation geeignet ist, mehrere Aufnahmen gleichzeitig zu visualisieren. Die Blocknotation eignet sich für die Darstellung des Vergleichs einzelner Aufnahmen. Außerdem ist die klassische Notation in diesem Stadium im Allgemeinen ungeeignet, da in ihr mehrere Noten in einem engen Bereich schnell unübersichtlich werden. Der Fehleranalyse-Algorithmus erfüllt seinen Zweck, wenn das vorgegebene Tempo eingehalten wird. Andernfalls kann es vorkommen, dass Noten falsch zugeordnet werden.

We have developed a prototype for the visualization of errors while practicing the piano. This prototype will help piano beginners who do not yet have a well-developed hearing to get started and to better recognize their own mistakes. In our visualizations, notes can be displayed in classical notation, in block notation, or as a piano roll. Notes in the block notation have the shape of a rectangle with rounded corners and are drawn in place of classical note heads with a length corresponding to their duration. The user can visualize their piano playing live, or save it and analyze the recordings later. Recording and ground truth notes are visualized through different encodings leveraging either juxtaposition or superposition. We designed an algorithm that matches recorded and ground truth notes to allow for color-encoded error values. Based on piano roll, we designed a heat map visualization, where all pitches are divided into time slices and these slices get different colors depending on whether the recording and the ground truth note is in the same time slice. In our evaluation through case study, we came to the conclusion that only the piano roll notation is suitable for visualizing several recordings at once. The block notation is useful for the display of single recording comparison. Furthermore, the classical notation is generally unsuitable at this stage, because several notes in a narrow range quickly become confusing. The Error Analysis Algorithm serves its purpose when the specified tempo is maintained. Otherwise it can happen that notes are assigned incorrectly.