Browsing by Author "Xu, Zhenhao"

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • Thumbnail Image
    ItemOpen Access
    Contrastive representation learning for eye contact detection
    (2023) Xu, Zhenhao
    Während der Blickschätzung, die zahlreiche Methoden und Datensätze umfasst, umfangreiche Forschung gewidmet wurde, erhält die Erkennung von Augenkontakt vergleichsweise weniger Aufmerksamkeit und leidet unter einem Mangel an spezifischen Datensätzen. Trotzdem hat sie bedeutende praktische Anwendungen. Zum Beispiel kann in Fernlernsituationen die Erkennung von Augenkontakt eingesetzt werden, um zu überprüfen, ob Schüler sich auf den Bildschirm konzentrieren. Diese Technologie kann entscheidend sein, um virtuelles Engagement und Bildungseffektivität zu verbessern. Darüber hinaus stellt die Herausforderung, zwischen den Datensätzen der Blickschätzung und Augenkontakterkennung zu verallgemeinern, ein bedeutendes Problem dar, vor allem wegen ihrer unterschiedlichen Kennzeichnungsmethoden. Als Reaktion auf diese Probleme führt diese Arbeit einen neuen Ansatz für die Modellerstellung zur Erkennung von Augenkontakt ein, indem sie eine unüberwachte kontrastive Lernmethode verwendet. Diese Methode wurde wegen ihrer Fähigkeit ausgewählt, große Mengen an unbeschrifteten Daten aus Datensätzen zur Blickschätzung zu nutzen, was besonders vorteilhaft ist, angesichts des Mangels an speziellen Datensätzen zur Erkennung von Augenkontakt. In unserer Studie verwendeten wir das SimCLR kontrastive Lernmodell, das speziell für die Erkennung von Augenkontakt optimiert wurde. Diese Optimierung führte zu einer deutlichen Verbesserung des Matthews Korrelationskoeffizienten (MCC) für die Erkennung von Augenkontakt. Im Rahmen des Feinabstimmungsprozesses unseres kontrastiven Lernmodells bestand zwar weiterhin die Anforderung an einen kleinen, mit Augenkontakt-Erkennungslabels versehenen Datensatz, doch zielten wir darauf ab, die Abhängigkeit von manuell annotierten Augenkontakt-Labels vollständig zu eliminieren. Dazu nutzten wir hochmoderne Modelle zur Blickschätzung, nicht als primäre Methode, sondern als Hilfsmittel zur automatischen Generierung von Pseudo-Labels für die Augenkontakterkennung. Diese Strategie nutzt effektiv die Ausgaben der Blickschätzungsmodelle, um zuverlässige Pseudo-Labels zu erzeugen, was es unserem Augenkontakterkennungsmodell ermöglicht, unabhängig von manueller Kennzeichnung zu operieren.