Extracting facial data using feature-based image processing and correlating it with alternative biosensors metrics

Abstract

Extracting facial data has recently drawn more attention due to an ongoing progress in research and increase in its accuracy. Thanks to mobile platforms, the necessary but ordinary cameras are remarkably widespread nowadays. Big companies, like Google, have entered the market with their own cloud-based and mobile face analysis solutions. Possible applications for extracted facial data range from more user-friendly devices to user-interface evaluation and marketing. This thesis starts with an introduction to the topic of facial data extraction. It outlines several interesting applications, important techniques and existing frameworks first. Afterwards, the main contribution is presented: OpenFace++, an improved and extended variant of the existing OpenFace face analysis framework. Like OpenFace, the proposed OpenFace++ framework aims to close an unsatisfying gap in available functionality between commercial and free open-source solutions. OpenFace++ adds several new features to OpenFace. Amongst others, the added highlights are facial expression recognition, attention estimation, and cross-platform compatibility. OpenFace++ works on Android out-of-the-box. The work is completed by presenting a user-study which was conducted to investigate the reliability of extracted facial data. The first experiment evaluates the detectability of eye-closeness states. Results show that facial data extraction can outperform competing solutions. The second experiment shows that face orientation extraction also works reliably compared to a gyrometer. Finally, the third experiment demonstrates that the new facial expression detection can detect many cases very accurately. The thesis finishes with some suggestions for further improvements on OpenFace++ in the future.

Das Extrahieren von Gesichtsinformationen hat in letzter Zeit wegen anhaltenden Fortschritten in der Forschung und einem Anstieg in seiner Genauigkeit erhöhte Aufmerksamkeit auf sich gezogen. Dank der mobilen Plattformen sind die dafür notwendigen aber gewöhnlichen Kameras heutzutage bemerkenswert weit verbreitet. Große Unternehmen wie Google sind mit ihren eigenen cloud-basierten und mobilen Gesichtsanalyse-Lösungen in den Markt vorgestoßen. Denkbare Anwendungen für extrahierte Gesichtsinformationen reichen von nutzerfreundlicheren Geräten über Evaluierung von Benutzerschnittstellen bis hin zu Marketingaspekten. Diese Diplomarbeit beginnt mit einer Einführung in das Thema Gesichtsinformationsextrahierung. Sie skizziert zuerst einige interessante Anwendungsmöglichkeiten, sowie einige wichtige Techniken und bestehende Frameworks. Anschließend wird der Hauptbeitrag vorgestellt: OpenFace++, eine verbesserte und erweiterte Variante des bestehenden OpenFace Gesichtsanalyse-Frameworks. OpenFace++ versucht, wie auch OpenFace, eine unbefriedigende Lücke in der verfügbaren Funktionalität zwischen kommerziellen und kostenlosen open-source Lösungen zu schließen. OpenFace++ erweitert OpenFace um einige neue Funktionen. Die hinzugefügten Highlights sind unter anderem eine Erkennung für Gesichtsausdrücke, eine Abschätzung der Aufmerksamkeit und plattformübergreifende Kompatibilität. OpenFace++ läuft auf Android out-of-the-box. Die Arbeit wird abgeschlossen durch die Vorstellung einer Nutzerstudie, welche durchgeführt wurde, um die Zuverlässigkeit der extrahierten Gesichtsinformationen zu untersuchen. Das erste Experiment evaluiert die Erkennbarkeit des Geschlossenheitszustandes der Augen. Die Ergebnisse zeigen, dass das Extrahieren von Gesichtsinformationen konkurrierende Verfahren übertreffen kann. Das zweite Experiment zeigt, dass das Extrahieren der Gesichtsausrichtung ebenfalls zuverlässig funktioniert, verglichen mit einem Gyrometer. Das dritte Experiment demonstriert zuletzt, dass auch die neue Gesichtsausdruckserkennung in vielen Fällen akkurat funktioniert. Die Diplomarbeit endet mit einigen Ratschlägen für weitere Verbesserung an OpenFace++ in der Zukunft.