Generalizable encoding for keyboard and mouse data

Abstract

Applying machine learning to keyboard and mouse data is an important topic in human-computer interaction since gained knowledge from analyzing user interaction behaviour allows to improve system attributes such as interactivity and user experience. For this purpose, an expressive data representation is crucial for achieving meaningful predictive power. In contrast to previous works which mostly rely on handcrafted features, this work explores generalizable encodings in order to supply the machine learning model with less prefiltered inputs. Results on two datasets show that the proposed encodings can improve performance of interactive task recognition, since a time series representation, keeping track of mouse pointer coordinates and mouse button states in fixed time intervals, significantly outperformed the baseline of using handcrafted features in case of mouse data. Regarding keyboard data, applying a similar representation which tracks the key states also resulted in better predictive power than using manually extracted features. In addition, approaches based on techniques from natural language processing were competitive to the time series representation. This indicates that multiple encodings need to be considered when assessing how to encode keyboard data. Overall, our work shows that applications based on machine learning on keyboard and mouse data can benefit from selecting a less prefiltering encoding technique over handcrafted feature extraction.

Maschinelles Lernen auf Tastatur- und Mausdaten anzuwenden ist ein wichtiges Thema im Bereich der Mensch-Computer Interaktion, da durch Verhaltensanalyse der Benutzerinteraktion gewonnene Erkenntnisse zur Verbesserung von Systemeigenschaften wie der Interaktivität sowie des Benutzererlebnisses beitragen können. Notwendig dafür ist eine ausdrucksstarke Repräsentation der Daten, um eine bedeutsame Vorhersagekraft erzielen zu können. Im Gegensatz zu bisherigen Arbeiten, die sich hauptsächlich auf manuell ausgewählte und extrahierte Merkmale stützen, erforschen wir im Rahmen dieser Arbeit verallgemeinerbare Kodierungen, die das Machine Learning-Modell mit weniger vorgefilterten Eingabedaten versorgen. Unsere Ergebnisse auf zwei Datensätzen zeigen, dass dies die Leistung solcher Modelle bei der Vorhersage, welche Aufgabe der Benutzer oder die Benutzerin ausführt, verbessern kann. Im Fall von Mausdaten schnitt eine Zeitreihendarstellung, die die Koordinaten des Mauszeigers sowie den Zustand der Maustasten in festen Zeitabständen nachverfolgt, signifikant besser ab als der herkömmliche Ansatz, manuell extrahierte Merkmale zu verwenden. Auf Tastaturdaten angewandt, führte eine ähnliche Repräsentation, die den Zustand der Tasten nachverfolgt, ebenfalls zu besseren Ergebnissen als die Verwendung manuell extrahierter Merkmale. Zusätzlich erzielten auch Ansätze basierend auf Methoden der Verarbeitung natürlicher Sprache konkurrenzfähige Ergebnisse. Dies zeigt auf, dass beim Bewerten, welche Technik für die Kodierung von Tastaturdaten zum Einsatz kommt, mehrere Methoden in Betracht gezogen werden müssen. Insgesamt zeigt unsere Arbeit, dass Anwendungen, die auf maschinellem Lernen auf Tastatur- und Mausdaten basieren, davon profitieren können, eine weniger vorfilternde Kodierungstechnik zu verwenden statt manuelle Merkmale zu extrahieren.