Enhancing online lecture engagement through gaze and emotion feedback integration

Abstract

The shift towards online meetings, seminars, and lectures has rapidly gained momentum in recent years, particularly accelerated by the events surrounding the COVID-19 pandemic. However, the absence of nonverbal cues such as eye contact and gestures in virtual settings presents significant challenges for effective communication. Existing frameworks for virtual meetings often fail to adequately address this issue, making it difficult for presenters to accurately assess audience engagement and comprehension. This thesis investigates these challenges by capturing participant attention and emotion in real-time and evaluating how presenters interact with live feedback. Through the implementation and study of a feedback system that visualizes gaze and emotional data, we aimed to bridge the gap between in-person and online lecture experiences. To ensure an informed approach, we conducted a requirement analysis prior to our experiment, identifying key factors for effective feedback integration. In the experiment, we collected data through our tool by logging meeting interactions and analyzing responses from a post-experiment questionnaire. Our findings provide insights into the impact of such feedback on presenter motivation, delivery adjustments, and engagement levels, ultimately contributing to the improvement of educational quality in virtual environments. Die Verlagerung hin zu Online-Meetings, Seminaren und Vorlesungen hat in den letzten Jahren rasant an Bedeutung gewonnen, insbesondere beschleunigt durch die Ereignisse rund um die COVID-19-Pandemie. Allerdings stellt das Fehlen nonverbaler Hinweise wie Blickkontakt und Gesten in virtuellen Umgebungen eine erhebliche Herausforderung für eine effektive Kommunikation dar. Bestehende Frameworks für virtuelle Meetings greifen dieses Problem oft unzureichend auf, wodurch es für Vortragende schwierig wird, das Engagement und das Verständnis ihres Publikums genau einzuschätzen. Diese Arbeit untersucht diese Herausforderungen, indem sie die Aufmerksamkeit und Emotionen der Teilnehmenden in Echtzeit erfasst und analysiert, wie Vortragende mit Live-Feedback interagieren. Durch die Implementierung und Erforschung eines Feedback-Systems, das Blick- und Emotionsdaten visualisiert, soll die Lücke zwischen Präsenz- und Online-Vorlesungen verringert werden. Um eine fundierte Herangehensweise zu gewährleisten, führten wir vordem Experiment eine Anforderungsanalyse durch, um zentrale Faktoren für eine effektive Feedback-Integration zu identifizieren. Während des Experiments sammelten wir Daten durch unser Tool, indem wir Interaktionen während der Meetings aufzeichneten und die Antworten aus einem nachgelagerten Fragebogen auswerteten. Unsere Ergebnisse liefern Einblicke in die Auswirkungen eines solchen Feedbacks auf die Motivation der Vortragenden, deren Anpassungen in der Vortragsweise und das Engagement-Niveau, wodurch letztendlich die Qualität der Lehre in virtuellen Umgebungen verbessert werden kann.