Cross-device data collection

Abstract

Providing cross-device service has become the best practice for many organizations. Those cross device services often have different user interfaces (UIs) designed to deliver user experiences (UXs) adapted to the device context. User behavior tends to vary across devices due to the UI variations, which can considerably impact usability. While extensive research exists on the relationship between user behavior and usability within the same device context, little attention has been paid to cross-device scenarios. By examining usage across devices, it becomes possible to identify the distinct user behavioral patterns and assess usability across varying UIs. Usability can be measured explicitly through user responses to a usability questionnaire and implicitly via navigation behavior events and task completion time on web pages. To facilitate this analysis, we developed a recording system capable of capturing user navigation behavior, usability feedback, and screenshots for five popular individual web pages. Participants were recruited both online and onsite to generate a diverse user behavior dataset. A total of 79 participants were invited to the experiment, with 17 participating in a pilot study. The resulting dataset comprises 34 well-processed, complete user datasets for analysis. Using this novel dataset, we conducted a preliminary analysis to explore correlations between user behavior features and usability metrics, specifically System Usability Scale (SUS) scores and task completion times. Additionally, we performed a small case study to compare the five different UIs and determine which design provided the best user experience. We found that usability, measured in terms of SUS scores, showed no significant differences across devices or web pages. However, completion time varied significantly across devices. Additionally, we provided design recommendations, such as addressing erratic user behaviors derived from speed-related metrics like excessive acceleration, which negatively impact usability, particularly on mobile devices. Das Anbieten plattformübergreifender Dienste ist für viele Organisationen zur Best Practice geworden. Diese plattformübergreifenden Dienste verfügen oft über unterschiedliche UIs, die darauf abzielen, UXs an den Gerätekontext anzupassen. Das Nutzerverhalten variiert in der Regel zwischen den Geräten aufgrund der Unterschiede in den UIs, was die Benutzerfreundlichkeit erheblich beeinflussen kann. Während umfangreiche Forschung zur Beziehung zwischen Nutzerverhalten und Benutzerfreundlichkeit im gleichen Gerätekontext existiert, wurde plattformübergreifenden Szenarien bislang wenig Aufmerksamkeit geschenkt. Durch die Untersuchung der Nutzung über verschiedene Geräte hinweg können jedoch spezifische Verhaltensmuster identifiziert und die Benutzerfreundlichkeit bei variierenden UIs bewertet werden. Die Benutzerfreundlichkeit kann explizit durch die Antworten der Nutzer auf einen UsabilityFragebogen und implizit durch Navigationsverhalten sowie die Zeit zur Aufgabenerfüllung auf Webseitengemessenwerden. UmdieseAnalysezuermöglichen,habenwireinAufzeichnungssystem entwickelt, das das Navigationsverhalten der Nutzer, ihr Feedback zur Benutzerfreundlichkeit und Screenshots von fünf populären Einzelwebseiten erfasst. Die Teilnehmer wurden sowohl online als auch vor Ort rekrutiert, um ein vielfältiges Datenset zum Nutzerverhalten zu erstellen. Insgesamt wurden 79 Teilnehmer zum Experiment eingeladen, davon 17 für eine Pilotstudie. Das resultierende Datenset umfasst 34 vollständig verarbeitete und vollständige Nutzerdatensätze für die Analyse. Mit diesem neuartigen Datensatz führten wir eine erste Analyse durch, um Korrelationen zwischen Nutzerverhaltensmerkmalen und Benutzerfreundlichkeitsmetriken, insbesondere SUS-Werten und Aufgabenerfüllungszeiten, zu untersuchen. Zusätzlich führten wir eine kleine Fallstudie durch, um die fünf verschiedenen UIs zu vergleichen und herauszufinden, welches Design die beste Benutzererfahrung bietet. Dabei stellten wir fest, dass die Benutzerfreundlichkeit, gemessen anhand der SUS-Werte, keine signifikanten Unterschiede zwischen Geräten oder Webseiten zeigte. Allerdings variierte die Aufgabenerfüllungszeit erheblich zwischen den Geräten. Darüber hinaus gaben wir Designempfehlungen, wie z. B. die Berücksichtigung von unregelmäßigem Nutzerverhalten, das sich aus geschwindigkeitsbezogenen Metriken wie übermäßiger Beschleunigung ableitet und die Benutzerfreundlichkeit, insbesondere auf mobilen Geräten, negativ beeinflusst.