Emotion classification based on the emotion component model

Abstract

The term emotion is, despite its frequent use, still mysterious to researchers. This poses difficulties on the task of automatic emotion detection in text. At the same time, applications for emotion classifiers increase steadily in today's digital society where humans are constantly interacting with machines. Hence, the need for improvement of current state-of-the-art emotion classifiers arises. The Swiss psychologist Klaus Scherer published an emotion model according to which an emotion is composed of changes in the five components cognitive appraisal, physiological symptoms, action tendencies, motor expressions, and subjective feelings. This model, which he calls CPM gained reputation in psychology and philosophy, but has so far not been used for NLP tasks. With this work, we investigate, whether it is possible to automatically detect the CPM components in social media posts and, whether information on those components can aid the detection of emotions. We create a text corpus consisting of 2100 Twitter posts, that has every instance labeled with exactly one emotion and a binary label for each CPM component. With a Maximum Entropy classifier we manage to detect CPM components with an average F1-score of 0.56 and average accuracy of 0.82 on this corpus. Furthermore, we compare baseline versions of one Maximum Entropy and one CNN emotion classifier to extensions of those classifiers with the CPM annotations and predictions as additional features. We find slight performance increases of up to 0.03 for the F1-score for emotion detection upon incorporation of CPM information.

Der Begriff Emotion ist, trotz seiner häufigen Verwendung, noch immer nicht in seiner Bedeutung geklärt. Dieser Sachverhalt führt zu Schwierigkeiten in der automatischen Emotionserkennung in Text. Parallel dazu, nimmt die Anzahl der Anwendungen für Emotionsklassifizierung in der heutigen digitalen Gesellschaft, in der Menschen konstant mit Maschinen interagieren, stetig zu. Folglich wächst die Notwendigkeit einer Verbesserung der Emotionsklassifikatoren auf dem aktuellen Stand der Technik. Der schweizer Psychologe Klaus Scherer publizierte ein Emotionsmodell, welchem zufolge eine Emotion aus Änderungen in den fünf Komponenten kognitive Evaluierung, physiologische Symptome, Handlungstendenzen, motorische Ausdrücke und subjektive Gefühle besteht. Dieses Modell, welches er Komponenten-Prozess-Modell nennt, erreichte Zustimmung in den Bereichen Psychologie und Philosophie, wurde bisher jedoch nicht für Anwendungen aus der maschinellen Sprachverarbeitung benutzt. Mit dieser Arbeit untersuchen wir, ob es möglich ist, die Komponenten des Komponenten-Prozess-Modells automatisiert in Nachrichten aus einem sozialen Netzwerk zu erkennen und, ob die Information über das Vorhandensein der Komponenten hilfreich für Emotionserkennung sein kann. Wir erstellen einen Textkorpus bestehend aus 2100 Twitter Nachrichten, in dem jede Instanz mit exakt einer Emotion und einem binären Label für jede Komponenten-Prozess-Modell Komponente annotiert ist. Mit einem Maximum Entropy Klassifikator erreichen wir eine Erkennung der Komponenten mit einem durchschnittlichen F1-Wert von 0.56 und einem durchschnittlichen Accuracy-Wert von 0.82 auf diesem Korpus. Des Weiteren, vergleichen wir baseline Versionen eines Maximum Entropy und eines CNN Emotions Klassifikators mit Erweiterungen dieser Klassifikatoren mit den Annotationen oder Vorhersagen der Komponenten-Prozess-Modell Komponenten als zusätzliche Eingabe. Wir stellen eine leichte Erhöhung der Performanz, um bis zu 0.03 bei den F1-Werten durch Einbinden der Komponenten-Prozess-Modell Information fest.