A 3D-aware conditional diffusion model for gaze redirection

Abstract

Gaze redirection refers to the task of modifying the direction of eye gaze and its corresponding facial counterparts to a targeted direction, while preserving the original identity of the subject. An effective gaze redirection approach must (i) be aware of the 3D nature of the task, (ii) accurately redirect the gaze into any specified direction, and (iii) generate photorealistic output images that preserve the shape and texture details from the input images. In response to these requirements, this thesis presents a novel approach to gaze redirection using a 3D-aware conditional diffusion model that leverages the intrinsic geometric properties of human faces. This approach effectively transforms the task into a conditional image-to-image translation. To embed 3D awareness comprehensively, we adopt a viewpoint-conditioned diffusion model, that can learn the 3D context of the facial geometry. Then, the conditions to this model are unique gaze rotations and latent facial parameters from the face images. These strategies are further reinforced by a novel loss function focused on gaze direction and head orientation, which enhances the model's ability to learn and apply accurate gaze and head adjustments effectively. Together, these elements underscore the potential of our approach to produce high-quality, accurate gaze redirection, fulfilling the complex demands of this sophisticated visual task.

Blickumleitung bezeichnet die Aufgabe, die Blickrichtung und die entsprechenden Gesichtsausdrücke in eine bestimmte Richtung zu ändern und dabei die ursprüngliche Identität des Subjekts zu bewahren. Ein effektiver Ansatz zur Blickumleitung muss (i) die 3D-Natur der Aufgabe berücksichtigen, (ii) den Blick präzise in eine bestimmte Richtung umleiten und (iii) fotorealistische Ausgabebilder erzeugen, die die Form- und Texturdetails der Eingabebilder bewahren. Als Antwort auf diese Anforderungen präsentiert diese Arbeit einen neuartigen Ansatz zur Blickumleitung unter Verwendung eines 3D-bewussten bedingten Diffusionsmodells, das die intrinsischen geometrischen Eigenschaften menschlicher Gesichter nutzt. Dieser Ansatz wandelt die Aufgabe effektiv in eine bedingte Bild-zu-Bild-Übersetzung um. Um die 3D-Bewusstheit umfassend einzubetten, verwenden wir ein sichtpunktbedingtes Diffusionsmodell, das den 3D-Kontext der Gesichtsgeometrie erlernen kann. Die Bedingungen für dieses Modell sind dann einzigartige Blickdrehungen und latente Gesichtsparameter aus den Gesichtsbildern. Diese Strategien werden zusätzlich durch eine neuartige Verlustfunktion verstärkt, die sich auf Blickrichtung und Kopfausrichtung konzentriert und die Fähigkeit des Modells verbessert, genaue Blick- und Kopfanpassungen effektiv zu erlernen und anzuwenden. Zusammen unterstreichen diese Elemente das Potenzial unseres Ansatzes, eine qualitativ hochwertige, genaue Blickumleitung zu erzeugen und die komplexen Anforderungen dieser anspruchsvollen visuellen Aufgabe zu erfüllen.