Analyzing music instrument playing history via an interactive visual diary

Abstract

Live-logging gewinnt an mehr und mehr Zulauf, wodurch die Herausforderung entsteht, visuelle Analysewerkzeuge an neue Datenformate anzupassen. Das in dieser Arbeit vorgestellte Konzept erlaubt es Nutzern von Musikinstrumenten, von Amateur bis professionell, aufgenommene MIDI-Daten zu sammeln und visualisieren. Benutzer können die Entwicklung ihres Repertoires über mehrere Monate mit Hilfe zweier zusammenfassender Formate analysieren. In einer Übersicht werden Aufnahmen anhand ihres Datums und ihrer Länge platziert und mit einer Farbe in abhängig von ihrem Titel versehen. Aufnahmen mit gleichem Titel oder ähnlichen Noten können interaktiv durch Bögen verbunden angezeigt werden. Für die Bestimmung der Notenähnlichkeit werden die Algorithmen von Levenshtein und Gotoh verwendet. Die Wochenübersicht zeigt Aufnahmen mit einem stärkeren Fokus auf Wochentage. Der genaue Zeitpunkt und die Dauer der Aufnahmen werden nicht dargestellt, wodurch eine klarere Ansicht entsteht. Der Ansatz der Arbeit wird in einer Fallstudie evaluiert. Dabei werden sowohl nutzergenerierte Daten, als auch, auf Grund der beschränkten Zeit, zufällig generierte Daten verwendet, die verschiedene Nutzerverhalten simulieren. Die Implementierung skaliert für bis zu mehrere hundert Aufnahmen, für einen Zeitraum größer als ein Jahr werden die Visualisierungen allerdings schwer lesbar. Die Arbeit bietet einen neuen Ansatz für das Aufzeichnen und Untersuchen von Musikaufnahmen für Musiker, die Interesse an einer Analyse ihrer Aufnahmen haben, und könnte auch attraktiv für solche sein, die bisher kein Live-logging betrieben haben, aber gerne nach Mustern in ihrem Übungsverhalten suchen möchten.

As live-logging becomes an increasingly habitual practice, Personal Visual Analytics face the inevitable challenge of adapting to all forms of tracked data. Our concept offers the input and visualization of recorded MIDI data to those who use musical instruments, ranging from amateur musicians to professional performers. Users can oversee and reflect on the development of their repertoire throughout the span of months, condensed into two different formats. The Overview maps each recording in regard to the start and end times and places it onto the respective day with a color code corresponding to its title. Interaction with each separate recording provides linkage through arcs to others analogous with respect to either title or note similarity. For the latter, we support the Levenshtein distance and the Gotoh algorithm as similarity measures. The Weekview produces a more concentrated canvas, mapping the tracks with a starker focus on the day of the week at which the user prefers to play. What allows this view to display data in a more concise form, is that the duration and exact save time information are not taken into consideration, making it easier to read. We evaluated our approach and prototypical implementation in a case study. For this, we first used a small set of user data and, due to time constraints, further carried out the examination using artificially generated data, simulating different cases of users with varying recording habits. Our implementation performs well under up to several hundreds of recordings. However, the recordings are harder to spot when the recording time exceeds a year or when there are multiple recordings saved within a small time frame. Our concept provides a novel way of tracking and exploring recorded music for those already intrigued by the idea of visualizing their recording library, while potentially attracting musicians who track less, but wish to discover patterns in their practice regimes.