Using an electric guitar as an input device for tab interface navigation

Abstract

Guitar tablature is a musical notation that uses six lines to represent the strings, while numbers on those lines show which frets to press. Digital tablature interfaces enhance the playing and learning experience through synchronized tablature playback, drum tracks, and more. Tablature interfaces are generally operated by touch or conventional mouse and keyboard input. Controlling playback, navigating through songs, and configuring the interface can result in inconvenient context switches since guitarists regularly switch between playing the guitar and interacting with the interface via mouse and keyboard. In this thesis, we use the audio input of an unmodified electric guitar to investigate possibilities for navigating tablature interfaces while avoiding such context switches. Our goal is to facilitate the use of tablature interfaces while maintaining a consistent interaction mode. To achieve this goal, we explored different algorithms to determine which approach works best for our use case of audio-matching tasks. These algorithms compare the guitarist's audio input with synthetically generated song audio and produce a compliance score, which aims to enable navigation for any opened song in the tablature interface. Furthermore, we utilize audio matching to achieve accessible song selection without using a mouse or keyboard. The implementation of bar-specific navigation within a song posed several challenges. First, the recorded audio input differs too much from the synthetically generated sound to enable reliable matching. Second, modern songs have too many bars in which the guitar notes differ little or not at all. These factors and others made it impossible to use a robust audio-based navigation system for jumping to specific bars. However, a bookmark system enables song selection without letting go of the guitar, and predefined commands allow control of many functions. That way, the user can interact with the system without using a mouse or keyboard, relying exclusively on the guitar as the input device. This thesis highlights the opportunities and challenges of integrating audio-based controls into tablature interfaces. It might inspire future work to explore more intuitive ways for musicians to interact with digital systems. Die Gitarrentabulatur ist eine musikalische Notation, bei der die Saiten durch sechs Linien dargestellt werden, während die Zahlen auf diesen Linien zeigen, welche Bünde zu drücken sind. Digitale Tabulaturoberflächen verbessern das Spiel- und Lernerlebnis durch synchronisierte Audiowiedergabe der Tabulatoren, Schlagzeugspuren und mehr. Tabulaturoberflächen werden im Allgemeinen durch Touch-Steuerung oder herkömmliche Maus- und Tastatureingaben bedient. Die Steuerung der Audiowiedergabe, die Navigation durch die Songs und die Konfiguration der Oberfläche kann zu unbequemen Kontextwechseln führen, da Gitarrist:innen regelmäßig zwischen dem Spielen der Gitarre und der Interaktion mit der Schnittstelle über Maus und Tastatur wechseln. In dieser Arbeit verwenden wir die Audio-Eingabe einer unmodifizierten E-Gitarre, um Möglichkeiten zur Navigation der Oberfläche zu untersuchen und dabei solche Kontextwechsel zu vermeiden. Unser Ziel ist es, die Nutzung von Tabulaturoberflächen zu erleichtern und dabei einen einheitlichen Interaktionsmodus beizubehalten. Um dieses Ziel zu erreichen, haben wir verschiedene Algorithmen untersucht, um herauszufinden, welcher Ansatz am besten für unseren Anwendungsfall von Audio-Matching-Aufgaben geeignet ist. Diese Algorithmen vergleichen die Audioeingabe der Gitarrist:innen mit synthetisch erzeugtem Song-Audio und erzeugen eine Übereinstimmungswert, die die Navigation für jeden geöffneten Song in der Oberfläche ermöglichen soll. Darüber hinaus nutzen wir das Audio-Matching, um eine zugängliche Songauswahl ohne Maus oder Tastatur zu ermöglichen. Die Implementierung einer taktspezifischen Navigation innerhalb eines Liedes stellte mehrere Herausforderungen dar. Erstens unterscheidet sich der aufgenommene Audio-Input zu stark vom synthetisch erzeugten Sound, um eine zuverlässige Zuordnung zu ermöglichen. Zweitens haben moderne Songs zu viele Takte, in denen sich die Gitarrennoten nur wenig oder gar nicht unterscheiden. Diese und andere Faktoren machten es unmöglich, ein robustes audiobasiertes Navigationssystem für das Springen zu bestimmten Takten zu verwenden. Ein Lesezeichensystem ermöglicht jedoch die Songauswahl, ohne die Gitarre loslassen zu müssen, und vordefinierte Befehle erlauben die Steuerung vieler Funktionen. Auf diese Weise können Benutzer:innen mit dem System interagieren, ohne eine Maus oder eine Tastatur zu benutzen, und sich ausschließlich auf die Gitarre als Eingabegerät verlassen. Diese Arbeit zeigt die Möglichkeiten und Herausforderungen der Integration von audiobasierten Steuerungen in Tabulaturoberflächen auf. Sie könnte als Anregung für zukünftige Arbeiten dienen, um intuitivere Wege für Musiker:innen zur Interaktion mit digitalen Systemen zu erforschen.