Please use this identifier to cite or link to this item: http://dx.doi.org/10.18419/opus-3392
Authors: Sahami Shirazi, Alireza
Title: Exploiting & sharing context : computer mediated nonverbal communication
Other Titles: Nutzung und Teilung von Kontext : computervermittelte nonverbale Kommunikation
Issue Date: 2014
Publication type: Dissertation
URI: http://nbn-resolving.de/urn:nbn:de:bsz:93-opus-95177
http://elib.uni-stuttgart.de/handle/11682/3409
http://dx.doi.org/10.18419/opus-3392
Abstract: Humans are social beings and need to communicate and share their emotions. Communication takes place by exchanging not only verbal information but also nonverbal information. With the development of human civilization, communication is undergoing a constant change. The advances in technologies have led to new communication mediums allowing non-colocated persons to communicate and exchange information. Further, the ubiquity of computers, such as mobile phones, has provided the possibility to use computing technologies for different means in various contexts. Users most often carry the devices with themselves and are even emotionally attached to them. Such computer-mediated communication is generally non face-to-face and communicators are in different contexts. While face-to-face communication consists of verbal and nonverbal information, the lack of nonverbal and contextual information in non-face-to-face communication prevents effective communication and may lead to confusion. Therefore, exploiting and sharing contextual information is essential to enhance the communication between non-colocated persons. This thesis investigates how to exploit physiological and cognitive information to retrieve awareness about users themselves and their contexts as well as sharing such information using nonverbal modalities through computer-mediated communication channels. It discusses how information about certain user's activities can be obtained using brain signals and user's explicit interactions. Further, it explores nonverbal modalities as a communication channel to express and share context and awareness. The research questions are addressed using empirical methods commonly applied in the human-computer interaction research domain. In the initial step, we explore two sources as means to obtain the user's context and monitor specific activities. We, first, assess brain signals acquired from commercial brain-computer interfaces (BCI) to determine common activities, i.e., reading, listening, and relaxing. We further assess how the user's emotional state correlates with emotional information provided by the BCIs using videos as stimuli. Second, we investigate how only explicit interactions with mobile applications, instead of using any sensor, can be used to determine the user's physical activities. In particular, we explore how the explicit interaction can be utilized to monitor sleeping as one of the prime everyday activities. Monitoring sleep information shows not only one's daily routines but also indicates the physical state. We assess how exchanging information about one's sleep behavior impacts behavior and awareness in communication. We conduct user studies in the controlled setups and in the wild using application stores to obtain findings with high internal and external validity. In the next step, we investigate sharing context information using nonverbal channels. We explore rhythm-based tones as a nonverbal mean for communication. We assess how melody composition can be used as a way to express and share emotions. Music, in general, can communicate one's state of mind and it is often characterized as the language of emotion. We use short messages on mobile phones, as one of the most popular services on mobile phones at this time, for sharing emotions. Furthermore, we examine how audio previewing of messages can be used to communicate contents and enable awareness. The current notification approaches such as visual cues and audio tones aim at solely informing the receiver that a message arrived without revealing any further information. We propose an algorithm for audio previewing messages in such a way that content and intention of text messages is additionally conveyed. In the final step, we explore iconic interfaces on mobile phones as a nonverbal modality for sharing sentiments and connect non-colocated users. Through a use case, we assess how the sentiments collected via this channel correlates with moments in a real-time while watching TV. We carry out a study with a large number of users to assess this approach in a realistic context. The experience gained while conducting several studies in the wild using the application stores allowed us to identify challenges and limitations of this methodology. Further, reviewing prior work that used similar approaches enabled us to have a comprehensive overview about advantages and disadvantages of such studies. Based on the findings, we propose best practices how such user studies can be carried out. We discuss aspects and challenges that should be taken into account during designing such user studies. The contributions of this thesis provide insights into using physiological and cognitive data to determine activities and emotional states of users and obtain context information. We present how explicit interactions with a mobile application can be leveraged to monitor sleeping behavior of users without using any wearable sensor. It further presents that rhythm-based tones and iconic user interfaces, as nonverbal modalities, can be used to share contextual information. We discuss how sharing context information can affect users awareness and connectedness. The practices for research through the applications stores can be used as a guideline for researchers who want to address their research questions through this research methodology.
Als soziale Wesen haben Menschen das Bedürfnis zu kommunizieren und ihre Gefühle mitzuteilen. Dies geschieht sowohl mittels verbaler als auch nonverbaler Kommunikation. Wie Menschen kommunizieren, ist einem ständigen Wandel unterworfen. Technische Errungenschaften haben Kommunikationsmedien hervorgebracht, die Kommunikation zwischen Personen, die sich nicht am selben Ort befinden, ermöglichen. Durch die Allgegenwärtigkeit von Computern und Mobiltelefonen ist es möglich geworden, zu jedem Zeitpunkt und in beinahe jedem Kontext zu kommunizieren. Heute haben die meisten Menschen Kommunikationsmittel wie Smartphones ständig bei sich. Hierdurch ermöglichte Kommunikation findet in der Regel nicht im direkten Gegenüber statt, und die Kommunizierenden befinden sich in unterschiedlichen Kontexten. Während direkte Kommunikation verbale und nonverbale Informationen beinhaltet, kann das Fehlen von nonverbalen und kontextbezogenen Informationen in der indirekten Kommunikation zu Missverständnissen führen und erfolgreiche Kommunikation verhindern. Deshalb ist es für die Verbesserung der indirekten Kommunikation wesentlich, kontextbezogene Informationen mitzuteilen. In dieser Arbeit wird untersucht, wie physiologische und kognitive Daten genutzt werden können, um sowohl Erkenntnisse über die Nutzer und ihr jeweiliges Umfeld zu gewinnen, als auch solche Informationen computervermittelt auf nonverbalem Weg zu teilen. Es wird diskutiert, wie aus der expliziten Interaktion des Nutzers mit digitalen Geräten Wissen abgeleitet werden kann. Hierfür werden Hirnströme und explizite Interaktionen des Nutzers herangezogen. Weiterhin wird untersucht, wie Informationen über das Umfeld durch nonverbale Kommunikation ausgedrückt und geteilt werden können. Die Forschungsfragen werden mit den im Bereich der Mensch-Computer-Interaktion üblichen empirischen Methoden beantwortet. Im ersten Schritt werden Quellen untersucht, um Informationen über das Umfeld des Nutzers zu gewinnen und Aktivitäten zu beobachten. Es werden zunächst Hirnströme ausgewertet, die mit kommerziellen Brain-Computer-Interfaces (BCI) gewonnen wurden, um allgemeine Aktivitäten, wie Lesen, Zuhören und Entspannen, bestimmen zu können. Weiterhin wird untersucht, wie die durch ein BCI gelieferten Informationen mit emotionalen Zuständen beim betrachten von Filmen korrelieren. Zweitens wird erforscht, wie explizite Interaktion mit mobilen Anwendungen verwendet werden kann, um körperliche Aktivitäten des Nutzers zu ermitteln. Im Speziellen wird untersucht, wie diese Informationen verwertet werden können, um Schlaf als eine unserer Hauptaktivitäten zu detektieren. Aus dem aufgezeichneten Schlafverhalten lassen sich nicht nur tägliche Routinen, sondern auch Hinweise auf den physiologischen Zustand ableiten. Es wird untersucht, wie das Teilen von Informationen über das Schlafverhalten die Achtsamkeit in der Kommunikation beeinflusst. Hierfür werden sowohl kontrollierte Nutzerstudien im Labor als auch Studien ohne direkte Kontrolle der Probanden durchgeführt, um Ergebnisse mit hoher interner und externer Validität zu erhalten. Im nächsten Schritt wird untersucht, wie Informationen über das Umfeld nonverbal geteilt werden können. Dabei werden rhythmische Melodien als Kommunikationsmittel verwendet. Es wird untersucht wie selbsterstellte Melodien eingesetzt werden können, um Emotionen auszudrücken. Dabei setzt die entwickelte Anwendung auf SMS, einem der meistverbreiteten Dienste auf Mobiltelefonen, auf. Hierauf aufsetzend wird betrachtet, wie eine akustische Vorschau auf die Nachricht eingesetzt werden kann, um Inhalte zu kommunizieren. Die etablierten Möglichkeiten einer Benachrichtigung, wie visuelle und akustische Hinweise, zielen lediglich darauf ab, auf den Empfang einer Nachricht hinzuweisen. Sie geben jedoch keinen Hinweis auf den Inhalt der Nachricht. Um dies zu ermöglichen, wurde ein Verfahren entwickelt, um aus dem Inhalt einer Nachricht eine akustische Vorschau abzuleiten. Abschließend werden Icon-basierte Benutzungsschnitt- stellen auf Mobiltelefonen als nonverbaler Kommunikationskanal untersucht. Sie werden verwendet, um räumlich getrennte Nutzer zu verbinden, indem die Nutzer in die Lage versetzt werden, ihre Ansichten auszutauschen. Es wird untersucht, wie die gesammelten Ansichten mit den tatsächlichen Ereignissen korrelieren. Das entwickelte System wird durch eine Feldstudie mit einer großen Teilnehmerzahl evaluiert, um den realisierten Ansatz in einem realistischen Kontext zu betrachten. Die bei den Feldstudien gewonnenen Erfahrungen, ermöglichen es, die Herausforderungen und Einschränkungen der verwendeten Methode zu identifizieren. Aus der Betrachtung verwandter Arbeiten, die diese Methode verwenden, werden die Vor- und Nachteile solcher Feldstudien abgeleitet. Auf Grundlage dieser Erkenntnisse werden Leitlinien für die Durchführung dieser Art von Studien vorgeschlagen. Hierbei werden insbesondere Aspekte, die beim Design solcher Studien berücksichtigt werden sollten, diskutiert. Ein Kernbeitrag dieser Arbeit sind tiefere Einsichten über die Nutzung physiologischer und kognitiver Daten. Es wird insbesondere gezeigt, wie sich aus diesen Daten Aktivitäten und Emotionen von Nutzern ableiten lassen. Zusätzlich wird dargestellt, wie sich aus ihnen Informationen über das Umfeld gewinnen lassen. Es wird gezeigt, wie die explizite Interaktion mit mobilen Anwendungen genutzt werden kann, um das Schlafverhalten eines Anwenders zu beobachten. Es wird weiter beschrieben, wie Rhythmus-basierte Töne und Icon-basierte Benutzungsschnittstellen als nonverbale Kommunikationskanäle genutzt werden können, um Informationen auszutauschen. Es wird diskutiert, wie der Austausch von Informationen über das Umfeld das Bewusstsein für andere Menschen und die Verbundenheit mit ihnen beeinflusst. Die vorgeschlagenen Vorgehensweisen für die Forschung mit App-Stores können als Richtlinie für Forscher genutzt werden, die ihre Forschungsfragen mit dieser Methode beantworten wollen.
Appears in Collections:05 Fakultät Informatik, Elektrotechnik und Informationstechnik

Files in This Item:
File Description SizeFormat 
sahami_uploaded.pdf5,74 MBAdobe PDFView/Open


Items in OPUS are protected by copyright, with all rights reserved, unless otherwise indicated.