Visual MIDI data comparison

Abstract

Wir präsentieren ein System, das die Visualisierung und den visuellen Vergleich von MIDI Dateien ermöglicht. MIDI Daten, die aus einer chronologischen Abfolge von Ereignissen bestehen, stellen eine besondere Herausforderung für den Entwurf entsprechender visueller Repräsentationen dar. Basierend auf den Bedürfnissen von Nutzern aus bestimmten Zielgruppen entwickeln wir ein Konzept und eine Implementierung einiger Visualisierungen. Beispielsweise können mehrere MIDI Dateien gleichzeitig mit Hilfe einer Liste angezeigt werden, die aus Informationskarten mit einer kurzen Zusammenfassung der jeweils zugehörigen Datei gebildet wird. Unser Visualisierungssystem stellt einige Möglichkeiten zur Visualisierung des Inhalts einzelner MIDI Dateien bereit. Eine Heatmap wird verwendet, um einen Überblick über die Verteilung von Noten in den MIDI Kanälen zu bieten. Als Alternative zu einer traditionelleren Implementierung eines gestapelten Säulendiagramms stellen wir eine neuartige Visualisierung der Anzahl der Vorkommen jeder Note vor, die auf einer Wabenstruktur aus Sechsecken basiert. Zur Visualisierung von Notensequenzen verwenden wir ein Diagramm, das die Tonhöhe und Dauer der einzelnen Noten darstellt. Außerdem untersuchen wir die Leistungsfähigkeit einer adaptierten MatrixWave Visualisierung zur Darstellung von Musik. Des Weiteren haben wir prototypische Entwürfe zur Visualisierung von Ähnlichkeiten zwischen als Zeichenketten repräsentierten Sequenzen untersucht, die auf sogenannten Arc Diagrams basieren. Um die Darstellung von Unterschieden zwischen den Inhalten zweier MIDI Dateien zu unterstützen, stellen wir auf dem Tonhöhendiagramm und der Wabenstruktur basierende Vergleichsansichten vor. Die Entwürfe wurden in Form einer Webanwendung implementiert und mit Hilfe eines Anwendungsszenarios evaluiert. Die Ergebnisse zeigen, dass das Visualisierungssystem die spezifizierten Nutzerbedürfnisse erfüllt, decken aber auch Schwachstellen in der Konzeption und Implementierung auf.

We propose a system that supports the visualization and visual comparison of MIDI files. As a series of abstract time-related events, MIDI data poses a special set of challenges to the design of visual representations. Based on a set of target user groups and corresponding tasks, we propose a concept and implementation of several visualizations. Multiple MIDI files can be viewed at once in list of cards, each holding a summary of the corresponding file. Our visualization system provides various visualizations for the contents of individual MIDI files. A heatmap is used to provide an overview of the distribution of notes across the channels. We propose a novel approach to the visualization of the occurrence count for each individual note in a hexagonal grid as an alternative to the more traditional implementation of a stacked bar chart. For the visualization of note sequences, we use a pitch-time chart and investigate the capabilities of an adaptation to the MatrixWave visualization for the representation of music. We further explored designs based on arc diagrams as a possibility to visualize similarities between string representations of sequences. To provide support for the visualization of differences between the contents of two MIDI files, we propose comparative views based on the pitch-time chart and the hexagonal grid. We implemented the designs as a browser application, which we evaluated with a usage scenario. The results show that our system supports the specified target users' tasks, but also reveal some limitations of our concept and implementation.