How users attend to online comments: an eye-tracking approach

Abstract

The modern world is highly influenced by user-contributed content such as user comments, which is one of the most popular forms of communication on social media. They help build a connection between content creators and content consumers, as well as a connection between users of a social platform, which makes them highly relevant for community interaction. However, researchers have not treated users' comment reading strategies in much detail. The existing accounts are limited to address solely an explicit comment reading approach, which is only able to track an active interaction, e.g. analyze attention by counting a number of clicks. This technique can not fully estimate the drawn attention, as 73% of people do not actively interact with comments. Eye-tracking plays a vital role in solving the task of analysing implicit attention, as it allows to estimate such crucial characteristics, as comment features, which drew the most attention, the amount of attention given or the order of seeing specific comments. The current research uses eye-tracking based attention analysis for investigating the phenomena of users' reading behaviour on the real YouTube interface. The present master thesis concentrates on analysing users' attention mechanisms and reading behaviour and finding a correlation between the comment features such as length, language, sparseness, comment position, number of likes, presence of replies, presence of video creator's like and authorised user label, which cannot be exhibited from a pure textual point of view. This work shows that number of likes and presence of answers contribute the most to the attention drawn by comments. The analysis revealed that the category of a video deeply influences the emotion and length of the popular comments: if people are looking for useful information, which applies to educational videos, they tend to pay attention to neutral and long comments, whereas while looking for entertainment, people most probably will notice short and positive comments. The two important findings from the gender analysis are that women tend to read longer comments, but skip a higher percentage of comments than men. It is hoped that this research will contribute to a deeper understanding of the features that draw the most attention, which can be exploited in content generation strategies and developing new ranking algorithms.

Die moderne Welt wird höchst durch von Nutzern beigetragene Inhalte wie Nutzerkommentare beeinflusst, die eine der beliebtesten Kommunikationsformen in sozialen Medien sind. Sie tragen dazu bei, eine Verbindung zwischen Content-Erstellern und -konsumenten sowie zwischen den Nutzern einer sozialen Plattform herzustellen, was sie für die Interaktion in der Gemeinschaft äußerst relevant macht. Die Strategien der Nutzer beim Lesen von Kommentaren wurden von den Forschern jedoch noch nicht besonders detailliert behandelt. Die vorhandenen Berichte beschränken sich auf einen expliziten Ansatz zum Lesen von Kommentaren, der nur in der Lage ist, eine aktive Interaktion zu verfolgen, z. B. die Aufmerksamkeit durch Zählen der Klicks zu analysieren. Diese Technik kann die erregte Aufmerksamkeit nicht vollständig abschätzen, da 73% der Menschen nicht aktiv mit Kommentaren interagieren. Eye-Tracking spielt eine entscheidende Rolle bei der Lösung der Analyseaufgabe von der impliziten Aufmerksamkeit, da es ermöglicht, solche entscheidende Merkmale zu schätzen wie die Eigenschaften des Kommentars, die die meiste Aufmerksamkeit auf sich zogen, die Höhe der gezeigten Aufmerksamkeit oder die Reihenfolge, in der bestimmte Kommentare gesehen wurden. In der vorliegenden Arbeit wird die auf Eye-Tracking basierende Aufmerksamkeitsanalyse verwendet, um das Leseverhalten der Nutzer auf der echten YouTube-Oberfläche zu untersuchen. Die vorliegende Masterarbeit konzentriert sich darauf, die Aufmerksamkeitsmechanismen und das Leseverhalten der Nutzer zu analysieren und eine Korrelation zwischen den Kommentarmerkmalen wie Länge, Sprache, Spärlichkeit, Kommentarposition, Anzahl der Likes, Vorhandensein von Antworten, Vorhandensein des Likes des Videoerstellers und der Kennzeichnung als autorisierter Nutzer zu finden, die sich aus rein textlicher Sicht nicht zeigen lassen. Diese Arbeit stellt dar, dass die Anzahl der Likes und das Vorhandensein von Antworten am meisten zur Aufmerksamkeit beitragen, die Kommentare auf sich ziehen. Die Analyse hat gezeigt, dass die Kategorie eines Videos einen großen Einfluss auf die Emotion und die Länge der beliebten Kommentare hat: Wenn Menschen auf der Suche nach nützlichen Informationen sind, was auf Bildungsvideos zutrifft, neigen sie dazu, neutralen und langen Kommentaren Aufmerksamkeit zu schenken, während Menschen, die auf der Suche nach Unterhaltung sind, höchstwahrscheinlich kurze und positive Kommentare wahrnehmen. Die zwei wichtigen Ergebnisse der geschlechtsspezifischen Analyse sind, dass Frauen dazu neigen, längere Kommentare zu lesen, aber einen höheren Prozentsatz der Kommentare überspringen als Männer. Es ist zu hoffen, dass diese Forschung zu einem tieferen Verständnis der Merkmale beiträgt, die die meiste Aufmerksamkeit auf sich ziehen, was bei Strategien zur Erstellung von Inhalten und der Entwicklung neuer Ranking-Algorithmen genutzt werden kann.