User concepts for in-car speech dialogue systems and their integration into a multimodal human-machine interface

Abstract

In the automotive environment an increasing number of assisting systems as well as luxury features has found its way into vehicles over the past years: radio, CD, MP3, DVD, on-board address book, organisers, mobile phones, PDAs, destination input, selecting points of interest etc. The variety of on-board electronic devices and its extensive functions are likely to distract drivers from pursuing the primary driving task. Speech as a means of human-machine interaction should offer the user hands-free operation while driving to concentrate on the traffic situation rather than using various displays and buttons. However, parts of in-car dialogue systems tend to have lost transparency due to the increased functionality. Although people have accepted the innovative character of speech as interaction means and are generally motivated to use it, they fairly often get frustrated when operating an in-car speech dialogue system. Interaction is considered difficult and cumbersome and the first hurdle for getting acquainted with the system is high. It is often the conceptual design as opposed to technical mistakes that is regarded as the major obstacle for efficient and user-friendly interaction. The aim of this approach therefore was to develop concepts that facilitate human-machine interaction. The concepts range from general design guidelines to accessing large databases within applications such as audio, navigation and address book. Current methods of navigating data once were focused on very small numbers of music titles and address book entries and are therefore no longer adequate. To establish general requirements for the user interface, human communication was analysed to extract principles crucial for human-machine interaction. Also, various user studies were carried out to find out how users behave in human-computer interaction and where usability problems occur. The user's lacking recollection of audio, navigation and address book data was particularly taken into account and integrated into the concepts. The concepts bring back transparency into the multitude of technical devices and large amounts of data, while simultaneously ensuring consistency within and across modalities.

Der Begriff Vielfalt prägt heutzutage jeden Bereich unseres täglichen Lebens. Was die Innenausstattung von Fahrzeugen betrifft, so hat dort – dieser Entwicklung folgend – in den vergangenen Jahren eine Vielzahl von Luxusfeatures Einzug gehalten. Neben dem Radio verfügt ein Fahrzeug beispielsweise über CD, MP3, DVD, fahrzeugeigene Adressbücher, Organizer, Mobiltelefone und PDAs, Zieleingabe sowie eine Auswahl von Sonderzielen. Die Vielfalt von elektronischen Geräten im Fahrzeug und ihre umfangreichen Funktionen können einen Fahrer leicht von der eigentlichen primären Hauptaufgabe des Fahrens ablenken. Sprache als Mittel einer Mensch-Maschine-Interaktion sollte dem Benutzer während der Fahrt eine sogenannte Handsfree-Handhabung ermöglichen, um sich auf das Verkehrsgeschehen konzentrieren zu können, ohne währenddessen noch verschiedenste Funktionstasten betätigen zu müssen. Nichtsdestotrotz haben Teile von Dialogsystemen aufgrund der vermehrten Funktionalität an Transparenz verloren. Obwohl viele Menschen den innovativen Charakter von Sprache als Mittel der Interaktion akzeptiert haben und im Allgemeinen auch motiviert sind, davon Gebrauch zu machen, werden sie oftmals bei der Bedienung eines Sprachdialogsystems frustriert. Die Interaktion wird als schwierig und mühsam betrachtet. Die erste Hürde, um mit einem System vertraut zu werden, ist dadurch sehr hoch. Oftmals wird sogar das Design im Gegensatz zu technischen Problemen als Hauptursache für eine mangelnde benutzerfreundliche Interaktion gesehen. Ziel dieser Arbeit war es, Bedienkonzepte für multimodale Dialogsysteme im Fahrzeug zu entwickeln, die eine Interaktion zwischen Mensch und Maschine erleichtern. Grundlagen dafür bilden zum einen die Untersuchung zwischenmenschlicher Kommunikation über gesprochene Sprache, zum anderen die Durchführung von zahlreichen Benutzerstudien über die sprachliche Interaktion mit bestehenden Fahrzeuganwendungen sowie im Rahmen eines Wizard-of-Oz. Die erarbeiteten Konzepte erstrecken sich von allgemeinen Designrichtlinien hin zum konkreten Zugriff auf große Datenbanken innerhalb der Applikationen Audio, Navigation und Adressbuch. Besondere Berücksichtigung fand dabei die mangelnde Erinnerungsgüte von Audio-, Sonderziel- und Adressbuchdaten auf Seiten des Benutzers. Derzeitig verfügbare Methoden, diese Daten zu navigieren, sind nicht länger adäquat, da sie auf eine einst überschaubare Menge von Musiktiteln oder Adressbucheinträgen ausgerichtet waren. Die entwickelten Konzepte bringen Transparenz in eine Vielzahl von technischen Geräten und großen Datenmengen und gewährleisten Konsistenz sowohl innerhalb einer Modalität als auch modalitätsübergreifend.