Facilitating eye contact for visually impaired in a dating scenario

Abstract

As most romantic encounters and dates occur at night, individuals with visual impairments have difficulties engaging in dating, especially in loud and dark spaces where other sensory channels like their hearing are occupied. With recent advancements in assistive technologies for individuals with visual impairment, discussions around augmented reality approaches have begun to gain importance. This work aims to analyze the requirements for an augmented reality application that can visualize romantic interest through eye contact, as well as suggest a solution for this problem. Finally, after the implementation was done, the application’s helpfulness was assessed by individuals with visual impairment. To achieve these goals, we conducted literature research and based on the requirements found, we implemented an application for the Microsoft HoloLens 2, which makes romantic interest perceivable through audiovisual feedback. We implemented two visual cues in the form of a color pulse whenever interest is detected and a beam that follows the sighted person. Audio feedback is provided through a spatialized sonar sound. The application was tested by two individuals with visual impairment in a user study. Qualitative feedback from the participants was gathered through interviews, which gave valuable insights into the usability and performance of our prototype. The results show a strong agreement with the current state of the prototype and its approach, as well as suggestions for future improvements. Additionally, the outcome of this work emphasizes the interest in assistive technologies among individuals with visual impairment, especially in social environments where nonverbal cues are of high importance. Da die meisten romantischen Begegnungen und Verabredungen nachts stattfinden, treffen Personen mit Sehbeeinträchtigung auf Schwierigkeiten beim Dating, insbesondere in lauten und dunklen Umgebungen, in denen andere Sinneskanäle wie beispielsweise das Gehör besetzt sind. Aktuelle Fortschritte um das Thema unterstützende Technologien bringen nun zunehmend viele Diskussionen über den Einsatz von Augmented Reality (”erweiterte Realität”) in diesem Gebiet auf. Das Ziel der vorliegenden Arbeit ist es, Anforderungen einer Augmented Reality Anwendung zu analysieren, welche das romantische Interesse einer sehenden Person mithilfe des Blickes erkennt und dieses in einen Reiz umwandelt, der von einer Person mit Sehbeeinträchtigung wahrgenommen werden kann. Außerdem wurde zu diesem Problem eine Lösung vorgeschlagen, welche nach der Implementierung in einer Nutzerstudie getestet wurde, um dessen Nützlichkeit zu bewerten. Um dieses Ziel zu erreichen, wurde eine Literaturrecherche betrieben und mithilfe der gesammelten Anforderungen eine Anwendung für die HoloLens 2 programmiert, die romantisches Interesse durch audiovisuelle Hinweise wahrnehmbar macht. Hierzu wurden zwei visuelle Hinweise eingesetzt, eine pulsierende Animation, die längeren Blickkontakt signalisiert und ein Strahl, der die sehende Person verfolgt. Dazu kann noch ein räumlicher Sonar-Sound bereitgestellt werden, der die Position der sehenden Person angibt. Die Anwendung wurde von zwei Personen mit Sehbeeinträchtigung in einer Nutzerstudie getestet, in der durch Interviews qualitatives Feedback von den Teilnehmern gesammelt wurde. Dieses Feedback deckte sowohl die Nützlichkeit, als auch die Leistung unseres Prototyps ab. Die Ergebnisse zeigen eine starke Übereinstimmung mit dem aktuellen Stand des Prototyps und seines Ansatzes, sowie Vorschläge für zukünftige Verbesserungen. Außerdem unterstreichen die Ergebnisse dieser Arbeit das Interesse an unterstützenden Technologien bei Menschen mit Sehbeeinträchtigung, insbesondere in sozialen Umgebungen, in denen nonverbale Hinweise von großer Bedeutung sind.