Phonological processing of German sign language

Abstract

The need for communication is an essential part of being human. Influenced by a set of environmental factors, different languages have emerged in different cultures. Besides the language differences however, there are also differences in modality. There are spoken languages using the verbal-auditory channel and signed languages relying on the manual-visual channel. Signed languages are natural languages and therefore able to serve as a communication medium. They have the same power of expression as spoken languages. Despite being apparently different in their outer form and having modality differences, there are also similarities across the language systems. Both, spoken as well as signed languages can be described linguistically and they show similar processing in the brain. Because of the similarities, one may conclude that there are similar language mechanisms which are used in the acquisition and processing of language.

These language mechanisms can be described in theoretical models. Over the years, a number of speech perception models have been developed for spoken languages. However, a comprehensive model which encompasses different languages as well as modality differences is still missing. Nevertheless, such a model is mandatory for a holistic view on language.

This work tries to close this gap. Phonological processing is one of the basic principles in language perception and language comprehension. Therefore, in order to develop a modality-independent language perception model, this study also comprises an investigation of the phonological processing of German Sign Language. This is demonstrated with the help of two experiments. The first investigates the perception of signs, non-signs (non-existing signs) and actions (e.g., scratching the back of one's hand, chewing on a pen and the like). The second experiment focuses on the neural processing of signs and non-signs by using Magnetoencephalography.

Despite the variance of the input signal, language perception is possible, both in signed as well as in spoken languages. 'Listeners' in both systems are capable of distinguishing language relevant units from irrelevant ones. It can be expected that experience with language correlates with better discrimination abilities. The perception experiment which was conducted in the course of this paper, aims to investigate the influence of language experience and language ability on the perception of visual linguistic stimuli. The participants were asked to categorise signs, non-signs and actions. Noise was added to the videos of the stimuli to make recognition of the stimuli more difficult. The results of the perception experiment indicate that the ability of humans to blank out a non-relevant signal is independent of language experience. All participants, regardless of their language abilities, were able to distinguish actions from visual linguistic stimuli. However, for the recognition of linguistic stimuli, language experience and language ability are important. These factors also have some influence on the perceptual space.

The neuronal part of phonological processing was addressed by means of magnetoencephalography. Both deaf native signers as well as hearing non-signers participated. Signs and non-signs were presented in a so called oddball-design. Differences in processing are expected between the participant groups for the various stimuli types. The results of the study indicate that deaf signers include middle right and left temporal gyrus when processing visual linguistic stimuli. Furthermore, a lateralization effect depending on phonological condition was also found.

Two existing speech perception models were used in order to develop a comprehensive supramodal language perception model. The first model is the ISC exemplar model (Incremental Specification in Context). The essence of this linguistic speech perception model is language experience. Learning of phonetic and linguistic categories is done by remembering labelled exemplars. The second model is the dual-stream model of the functional anatomy of language which has a neuroanatomical approach to speech perception. In this model, two neuronal networks for language processing are proposed: an interface between the sensory-phonological network with the conceptual-semantic system, as well as an interface between the sensory-phonological network with the motor-articulatory system. Combining a linguistic model with a neuroanatomical approach has advantages as this causes a global picture of language processing to emerge.

This work, or more precisely the experiments conducted therein as well as the development of the model, contribute to the understanding of phonological processing and to a holistic understanding of language perception. Furthermore, this study provides an ideal basis for further research projects.

Gemeinsamkeiten zwischen Laut- und Gebärdensprachen lassen den Schluss zu, dass grundlegende übergreifende Sprachmechanismen beim Erlernen und Verarbeiten von Sprache zum Einsatz kommen. Diese Sprachmechanismen können anhand theoretischer Modelle beschrieben werden. Bezüglich Lautsprachen sind im Bereich der Sprachperzeption bereits unterschiedliche Modelle vorhanden. Ein umfassendes Modell, das sowohl sprach- wie auch modalitätsübergreifend ist und somit Gebärdensprachen mit einbezieht, wurde bisher noch nicht entwickelt. Dies ist jedoch für eine holistische Betrachtung von Sprache essentiell.

Diese Lücke greift die vorliegende Dissertation auf. Bei der phonologischen Verarbeitung handelt es sich um eine Grundlage der Sprachperzeption und des Sprachverständnisses, von daher umfasst diese Arbeit für die Entwicklung eines modalitätsübergreifenden Sprachperzeptionsmodells eine Untersuchung der phonologischen Verarbeitung von Deutscher Gebärdensprache. Diese wird anhand zweier Experimente aufgezeigt. Das erste Experiment untersucht die Perzeption von Gebärden, sog. Pseudogebärden (nicht-existente Gebärden) und Aktionen (z.B. den Handrücken kratzen, auf einem Stift kauen u.ä.), das zweite die neuronale Verarbeitung von Gebärden und Pseudogebärden mithilfe eines Magnetoencephalographen.

Die Sprachwahrnehmung ist in Gebärden- wie auch Lautsprachen trotz der Varianz des Sprachsignals möglich. Sprachempfänger sind in beiden Systemen in der Lage, im Eingangssignal sprachlich relevante Einheiten von irrelevanten zu unterscheiden. Es ist zu erwarten, dass Spracherfahrung zu einer besseren Diskriminierung des Eingangssignals führt. Das im Rahmen dieser Dissertation durchgeführte Perzeptionsexperiment untersucht den Einfluss von Spracherfahrung und Sprachkompetenz auf die Wahrnehmung visueller sprachlicher Stimuli. Die Teilnehmer der Studie hatten die Aufgabe, verschiedene Videos in Gebärden, sog. Pseudogebärden und Aktionen zu kategorisieren. Den Videos der Stimuli wurde dabei Rauschen hinzugefügt, so dass die Erkennung der Reize erschwert war. Die Ergebnisse des Perzeptionsexperimentes weisen darauf hin, dass die Fähigkeit des Menschen, Störsignale auszublenden teilweise unabhängig von Spracherfahrung ist. So waren alle Teilnehmer trotz unterschiedlicher Sprachkenntnisse, in der Lage, Aktionen von visuellen sprachlichen Reizen zu unterscheiden. Im Gegensatz dazu spielen Spracherfahrung und Sprachkompetenz bei der Unterscheidung sprachlicher Reize (Gebärden vs. Pseudogebärden) eine wichtige Rolle. Diese Faktoren beeinflussen auch den Wahrnehmungsraum. Mithilfe einer MEG-Studie wurde die neuronale Seite der phonologischen Verarbeitung betrachtet. Sowohl gehörlose Teilnehmer mit Deutscher Gebärdensprache als Muttersprache wie hörende Teilnehmer ohne Gebärdensprachkenntnis wurden untersucht. Den Teilnehmern wurden Gebärden und Pseudogebärden präsentiert. Abhängig von der Stimulusart sind Unterschiede in der phonologischen Verarbeitung zwischen den Probandengruppen zu erwarten. Die Ergebnisse der Studie geben Hinweise darauf, dass gehörlose Sprecher der Gebärdensprache für die Verarbeitung visueller linguistischer Reize den mittleren rechten und linken temporalen Gyrus einbeziehen. Desweiteren wurde bei den gehörlosen Sprechern ein Lateralisierungseffekt bezogen auf den phonologischen Parameter gefunden.

Für die Entwicklung eines umfassenden supramodalen Sprachperzeptionmodells werden zwei bereits vorhandene Modelle, die sich bislang jedoch ausschließlich mit Lautsprachen beschäftigen, verwendet. Dies ist zum einen das ISC (Inkrementelle Spezifikation im Kontext) Exemplarmodell, ein linguistisches Sprachperzeptionsmodell, dessen zentraler Bestandteil die Spracherfahrung darstellt, zum anderen das Zwei-Strom-Modell der funktionalen Sprachanatomie mit einer neuroanatomische Herangehensweise an die Sprachwahrnehmung. Beim ISC Exemplarmodell erfolgt das Lernen phonetischer und linguistischer Kategorien durch das Abspeichern markierter Exemplare. Im Zwei-Strom-Modell der funktionalen Sprachanatomie werden zwei neuronale Netzwerke für die Sprachverarbeitung vorgeschlagen: eine Schnittstelle zwischen dem sensorischen-phonologischen Netzwerk mit dem konzeptionellen-semantischem System und eine Schnittstelle zwischen dem sensorisch-phonologischen Netzwerk mit dem motorisch-artikulatorischen System. Die Verbindung eines linguistischen Sprachperzeptionmodells mit einer neuroanatomischen Betrachtungsweise bietet Vorteile, da so ein umfassendes Bild der Sprachverarbeitung entsteht.

Die vorliegende Arbeit trägt mit den durchgeführten Experimenten zum Verständnis von phonologischer Verarbeitung bei. Darüber hinaus ermöglicht die Modellentwicklung ein holistisches Verständnis von Sprachwahrnehmung und bietet damit die ideale Grundlage für weitere Forschungsprojekte.