Visualization for human-AI collaborative music composition

Abstract

We propose an AI-assisted approach based on interactive visualizations to support users in composing music and getting insights into the AI through hyperparameter analysis. Our user-centered approach allows the user to better control the composition by steering the AI’s suggestions. We use symbolic music data and piano rolls as visual music notation for easier understanding for amateur users and interaction with the notes of a melody. As the user requests multiple possible continuation for a given seed melody, and also multiple continuations for each of the previous continuations, a tree or graph structure of melodies occurs. We visualize this structure with an icicle plot, where the nodes are represented by a piano roll, to show the hierarchical structure of the melody samples. To add sorting options for easier sample selection, while still displaying the structure, we added links between the nodes. Both visualizations enable listening to selected melodies. For larger numbers of generated suggestions, we added a similarity-preserving scatterplot to visualize all samples at the same time with different glyphs representing melody samples. The scatterplot improves the efficiency of sample selection, as similar samples are close together and the user can disregard entire neighborhoods if one sample does not fit at all. We support brushing the scatterplot to select neighborhoods for which we then show visual aggregations to allow for insights into groups. To evaluate our design, we conducted a pair analytics study with two participants with limited musical knowledge. Both participants were able to quickly create compositions they liked and found our approach helpful. They also learned new things about the AI, like the influence of the hyperparameter temperature on the resulting melody.

Wir präsentieren einen Ansatz, der mit künstlicher Intelligenz (KI) und interaktiver Visualisierung Benutzer beim Komponieren von Musik und der Analyse von Hyperparameter der KI unterstützt. Unser benutzerzentrierter Ansatz gibt Benutzern bessere Kontrolle über die Komposition mit Hilfe der beeinflussbaren Vorschläge der KI. Wir verwenden symbolische Musikdaten und Piano Rolls als visuelle Musiknotation, um Anfängern das Verständnis und die Interaktion mit Noten der Melodie zu erleichtern. Eine baum- oder graphähnliche Struktur entsteht, wenn Benutzer mehrere Fortsetzungsmöglichkeiten von der KI anfordern und diesen Schritt für jede Möglichkeit wiederholt. Wir visualisieren diese Struktur mit einem Icicle Plot, der hierarchische Struktur der Melodien darstellt und dessen Knoten Piano Rolls beinhalten. Um diese Knoten für eine einfachere Wahl einer Melodie sortieren zu können, dabei jeoch weiterhin die hierarchische Struktur dar zu stellen, haben wir visuelle Verbindungen zwischen den Knoten hinzugefügt. In beiden Visualisierungen können Benutzer ausgewählte Melodien anhören. Wir haben weiterhin ein ähnlichkeitsbewahrendes Streudiagramm entworfen, um eine große Anzahl an Melodien gleichzeitig mithilfe von verschiedenen Glyphen zu visualisieren. Dieses Diagramm macht die Wahl von Melodien effizienter, da ähnliche Melodien nah beieinander sind und Benutzer ganze Nachbarschaften ausschließen können, wenn eine Melodie überhaupt nicht passt. Weiterhin kann eine Nachbarschaft ausgewählt werden, woraufhin visuellen Aggregationen Einblicke in Gruppen erleichtern. Wir haben unseren Ansatz mithilfe einer Pair Analytics Studie mit zwei Teilnehmern evaluiert. Beide Teilnehmer waren in der Lage, schnell eine Komposition zu erstellen, die ihnen gefallen hatte, und fanden unseren Ansatz hilfreich. Außerdem gewannen beide neue Einblicke in das Verhalten der KI und den Einfluss des Temperatur Hyperparameters auf die generierte Melodie.