Correlating facial expressions and contextual data for mood prediction using mobile devices

Abstract

Facial recognition can nowadays be achieved by any casual smartphone with a camera. Sophisticated systems and methods allow extracting information from facial data such as connected emotions depending on a person’s current expressions. In a mobile setting, information about emotions can be constantly grasped from a person using the smartphone front camera and annotated with various types of contextual data. This master thesis introduces OpenFaceAndroid - an Android application based on the existing facial analysis frameworks OpenFace and OpenFace++. The system allows to gather and process facial expression information as well as contextual data in real-time on a smartphone using the front camera device and various sensors. The output is a prediction of seven different emotions which is - compared to pure facial data extraction - improved through annotation with context. In two conducted studies first off data from several participants is collected, assessed for their usefulness in terms of this master thesis and afterward utilized to learn classifier models taking live emotion values and context information as training data. Subsequently, these models are evaluated for their accuracy in general emotion prediction and noticing affective mood changes - supported by findings of participant interviews. In conclusion, possible improvements and general limitations of this work are discussed as well as suggestions for future work proposed.

Heutzutage kann Gesichtserkennung über jedes gewöhnliche Smartphone mit Kamera durchgeführt werden. Fortgeschrittene Systeme und Methoden erlauben das Extrahieren von gesichtsbasierten Daten, wie beispielsweise den damit verbundenen Emotionen, von denen die Gesichtsausdrücke der jeweiligen Person abhängen. In einer mobilen Umgebung können durch die Frontkamera durchgehend Informationen über die Gefühle des Nutzers gesammelt werden und es gibt zahlreiche Arten von kontextbezogenen Daten mit denen man diese annotieren kann. In dieser Masterarbeit wird OpenFaceAndroid - eine Android Applikation, die auf den existierenden Gesichtsanalyse-Frameworks OpenFace und OpenFace++ basiert - vorgestellt. Das System ermöglicht das Sammeln und Verarbeiten von Informationen über Gesichtsausdrücke sowie kontextbezogenen Daten. Dies geschieht in Echtzeit mithilfe der Frontkamera eines Smartphones und verschiedenen Sensoren. Die Ausgabe ist eine Prognose von sieben verschiedenen Emotionen, die, verglichen mit reiner Extraktion aus gesichtsbasierten Daten, durch Kontextannotation verbessert wird. In zwei durchgeführten Studien werden zunächst Daten von mehreren Teilnehmern gesammelt und deren Eignung im Rahmen dieser Masterarbeit bewertet. Danach werden die Daten zur Erstellung eines Klassifikators verwendet, welcher Echtzeitwerte über Emotionen und Kontextinformationen als Trainingsdaten benutzt. Anschließend wird die Genauigkeit der generierten Modelle bezüglich der Emotionsprognose sowie dem Erkennen von affektiven Stimmungsänderungen ausgewertet. Dies wird durch Erkenntnisse aus Teilnehmerbefragungen gestützt. Zum Abschluss werden Verbesserungsmöglichkeiten und allgemeine Einschränkungen im Zusammenhang mit dieser Arbeit diskutiert und zukünftige anknüpfende Forschungstätigkeiten vorgeschlagen.