From physiological signals to emotions : an integrative literature review

Abstract

With the increase of daily human-computer-interactions and humans being highly emotional beings, came the research field of affective computing. More precisely, the need to incorporate emotions and emotion recognition into computer systems. Humans often express their emotions to other humans through body language, namely facial expressions, gestures and posture. Those can be deliberately influenced and to avoid this, physiological signals can be used for emotion recognition. They are regulated by the autonomous nervous system and influenced by emotions. This includes the electrical activity of the brain, heart and skin, as well as the skin temperature and respiration patterns, among others. Building systems that realize autonomous emotion recognition is a regularly studied topic and keeping an overview is difficult. An emotion recognition system usually consists of data acquisition, data processing and the assignment of emotion classes to the measured signals. Therefore, the foundation of emotion recognition systems includes the creation of data sets, the methods to extract and select features from the collected physiological signals and the classification algorithms. This thesis offers an explanation of the commonly used physiological signals, data sets and data processing methods, as well as an overview of some frequently used classifiers. However, the main objective is to provide an examination of topics that are currently being worked on. For this purpose, this thesis analyzes and reviews twenty-five studies published in the years 2018 to 2022 to report important findings or limitations and to highlight topics that are worth exploring further.

Mit den vermehrten täglichen Interaktionen zwischen Mensch und Computer und dem Umstand, dass der Mensch ein sehr emotionalesWesen ist, entstand das Forschungsgebiet Affective Computing. Genauer gesagt, die Notwendigkeit, Emotionen und Emotionserkennung in Computersysteme einzubeziehen. Menschen drücken ihre Emotionen gegenüber Anderen oft durch Körpersprache, wie Mimik, Gestik und Körperhaltung, aus. Diese können absichtlich beeinflusst werden und um dies zu vermeiden können physiologische Signale zur Emotionserkennung verwendet werden. Diese werden durch das autonome Nervensystem reguliert und von Emotionen beeinflusst. Dazu gehören unter anderem die elektrische Aktivität des Gehirns, des Herzens und der Haut, sowie die Hauttemperatur und der Rhythmus der Atmung. Die Erstellung von Systemen zur autonomen Emotionserkennung ist ein regelmäßig untersuchtes Thema und es ist schwer den Überblick zu behalten. Ein Emotionserkennungssystem besteht in der Regel aus Datenerfassung, Signalverarbeitung und der Zuordnung von Emotionsklassen zu den gemessenen Signalen. Zu den Grundlagen von Emotionserkennungssystemen gehören daher die Erstellung von Datensätzen, die Methoden zur Extraktion und Auswahl von Merkmalen aus den erfassten physiologischen Signalen und die Klassifizierungssalgorithmen. Diese Thesis bietet eine Erklärung der üblicherweise verwendeten physiologischen Signale, Datensätze und Datenverarbeitungsmethoden, sowie einen Überblick über einige häufig verwendete Klassifizierer. Das Hauptziel ist jedoch eine Auseinandersetzung mit Themen, an denen derzeit gearbeitet wird. Zu diesem Zweck werden in dieser Thesis fünfundzwanzig Studien, die in den Jahren 2018 bis 2022 veröffentlicht wurden, analysiert und überprüft, um wichtige Erkenntnisse oder Einschränkungen aufzuzeigen und Themen hervorzuheben, die es verdienen, weiter erforscht zu werden.