Efficient federated learning for gaze estimation

Abstract

Gaze estimation is the task of deciding for given face images, in which direction people are looking. It is particularly useful for various applications including psychological analysis, authentication, and eye tracking in the context of virtual or augmented reality. To reduce the error of the predictions of gaze estimators, the training data should be collected from a large number of users to ensure the ability of the model to generalize correctly during the inference phase. However, the large data collection requirements conflict with privacy concerns. Building on existing federated learning approaches, this project aims to increase the efficiency of the training process. Hence, (i) we split the model into a part owned by the client and another part owned by a server. This results in strong data protection properties as well as model privacy. In addition, only a part of the model has to be stored and run by each client leading to decreasing computational effort for the typically substantially resource-constrained clients. (ii) We further train the gaze estimation model in an unsupervised fashion and (iii) prune the model weights to enhance the training efficiency. Furthermore, we extend our approach with several privacy-preserving techniques, e.g. Multi-Party Computation (MPC) and Differential Privacy (DP) mechanisms. We empirically demonstrate the effectiveness of these mechanisms with an implemented attack on our system. Our experiments show that our implemented system manages to predict gaze angles with an average deviation of less than 6.5 degrees from the actual angle in about 10 minutes and thus outperforms other privacy-preserving gaze estimators.

Gaze estimation bezeichnet die Abschätzung, wohin eine gegebene Person in einem bestimmten Moment blickt. Um die Blickrichtungen möglichst akkurat vorhersagen zu können, muss ein Modell auf möglichst vielen Bildern von einer Vielzahl an verschiedenen Personen trainiert werden. Das Sammeln dieser Bilder für ein auf einem Server zentral durchgeführtes Training (Data Centre) führt jedoch zu Datenschutzproblemen. In dieser Arbeit haben wir ein System entworfen, mit welchem ein Modell trainiert werden kann, wobei der Schutz der persönlichen Aufnahmen während des Trainings gewährleistet wird. Zur Implementierung unseres Systems verwenden wir das Splitfed Learning-Verfahren, bei welchem Clients und Server zusammen das Modell, ein konvolutionales neuronales Netz, trainieren. Wir erreichen durch das Splitfed-Verfahren, dass die während des Trainings zu schützenden Bilder nicht von den Clients an den Server übertragen werden. Ein Vorteil gegenüber alternativer Verfahren ist, dass die typscherweise in Ressourcen beschränkten Clients nur einen kleinen Teil des Modells trainieren müssen und der andere Teil auf den leistungsstärkeren Server ausgelagert wird. Außerdem führt das Splitfed-Verfahren zu Model Privacy, d.h. ein Teil des Modells kann vor den Clients geheim gehalten werden. Wir erweitern unseren Ansatz mit Multi-Party Computation (MPC) und Differential Privacy (DP)-Mechanismen, um die Sicherheit der zu schützenden persönlichen Aufnahmen zu verstärken. Mit einem eigens implementierten Angriff zeigen wir die Effektivität dieser Mechanismen. Desweiteren verwenden wir Pruning, um die Größe des Modells zu reduzieren und wir trainieren unser Modell zusätzlich mit Unsupervised Learning. Unsere durchgeführten Testergebnisse zeigen, dass die Vorhersagen unseres mit dem Splitfed-Verfahren trainierten Modells eine durchschnittliche Abweichung von etwas weniger als 6.5 Grad vom eigentlichen Blickrichtungs-Winkel betragen. Damit konnten wir eine erhöhte Genauigkeit im Vergleich zu bereits bestehenden Gaze-Estimation-Methoden erzielen, welche auch auf die Geheimhaltung der persönlichen Bilder abzielen. Das Training des Modells lässt sich effizient (innerhalb von 10 Minuten) durchführen.