Domain adaptation methods for emotion and pain recognition via video games

Abstract

Seeing the patient’s emotional and physical condition is crucial when designing patient-computer interaction systems. However, gathering large datasets in sensitive situations like filming a person in pain can be challenging and ethically questionable. The primary aim of this study is to assess the possibility of using synthetic data as an alternative data source to create models capable of effectively recognizing patient pain. Initially, a synthetic dataset was generated as the foundation for model development. To maintain the relevance of the synthetically generated dataset’s diversity, a 3D model of real people was created by extracting facial landmarks from a source dataset and generating 3D meshes using EMOCA (Emotion Driven Monocular Face Capture and Animation) [1] [2]. Meanwhile, facial textures were sourced from publicly available datasets like CelebHQ [3] and FFHQ-UV [4]. An efficient pipeline was created for human mesh and texture generation, resulting in a dataset of 8,600 synthetic human heads generated in approximately 2 hours per perspective and texture. The datasets encompass varying facial textures and perspectives and total over 300 GB. This approach enhances gender and ethnic diversity while introducing perspectives from previously unseen viewpoints. Combining the 3D models with the extracted textures created new characters with varying facial textures but identical facial expressions. The study aims to bridge the gap between synthetic data and real-world medical contexts using domain adaptation methods, like Domain Mapping. This approach eliminates the need for human participants and addresses ethical issues associated with traditional data collection methods. Different combinations of datasets, encompassing various textures and perspectives, were utilized to train models and assess the feasibility of synthetic data for domain adaptation (Domain Mapping) with real human data as input video. However, incorporating synthetic and real data leads to improved pain recognition capabilities. This combined approach can leverage the strengths of both real and synthetic datasets, resulting in a more robust and effective model for pain recognition. Bei der Entwicklung von Systemen zur Interaktion zwischen Patient und Computer ist es von entscheidender Bedeutung, den emotionalen und physischen Zustand des Patienten zu erkennen. Das Sammeln großer Datensätze in sensiblen Situationen wie dem Filmen einer Person mit Schmerzen kann jedoch eine Herausforderung darstellen und ethisch fragwürdig sein. Das Hauptziel dieser Studie besteht darin, die Möglichkeit der Verwendung synthetischer Daten als alternative Datenquelle zu bewerten, um Modelle zu erstellen, die in der Lage sind, Patienten- schmerzen effektiv zu erkennen. Zunächst wurde ein synthetischer Datensatz als Grundlage für die Modellentwicklung erstellt. Um die Relevanz der Vielfalt des synthetisch erzeugten Datensatzes aufrechtzuerhalten, wurde ein 3D-Modell echter Menschen erstellt, indem Gesichtsmerkmale aus einem Quelldatensatz extrahiert und 3D-Netze mit EMOCA (Emotion Driven Monocular Face Capture and Animation) [1] [2] erzeugt wurden. Die Gesichtstexturen wurden aus öffentlich zugänglichen Datensätzen wie CelebHQ [3] und FFHQ-UV [4] entnommen. Es wurde eine effiziente Pipeline für die Generierung von menschlichen Netzen und Texturen erstellt, die zu einem Datensatz von 8.600 synthetischen menschlichen Modellen führte, die in etwa 2 Stunden pro Perspektive und Textur generiert wurden. Die Datensätze umfassen unterschiedliche Gesichtstexturen und -perspektiven und sind insgesamt über 300 GB groß. Dieser Ansatz verbessert die geschlechtliche und ethnische Vielfalt und bietet gleichzeitig Perspektiven aus bisher unbekannten Blickwinkeln. Durch die Kombination der 3D-Modelle mit den extrahierten Texturen wurden neue Charaktere mit unterschiedlichen Gesichtstexturen, aber identischen Gesichtsausdrücken geschaffen. Die Studie zielt darauf ab, die Lücke zwischen synthetischen Daten und realen medizinischen Kontexten mit Hilfe von Domänenanpassungsmethoden wie dem Domain Mapping zu schließen. Dieser Ansatz macht menschliche Teilnehmer überflüssig und löst ethische Probleme, die mit traditionellen Datenerfassungsmethoden verbunden sind. Verschiedene Kombinationen von Datensätzen mit unterschiedlichen Texturen und Perspektiven wurden verwendet, um Modelle zu trainieren und die Anwendbarkeit von synthetischen Daten für die Domänenanpassung (Domain Mapping) mit realen menschlichen Daten als Eingangsvideo zu bewerten. Die Einbeziehung von synthetischen und realen Daten führt zu einer verbesserten Schmerzerken- nung. Der kombinierte Ansatz ermöglicht die Nutzung der Stärken von realen und synthetischen Datensätzen, was zu einem robusteren und effektiveren Modell für die Schmerzerkennung führt.