Natural language understanding and communication for human-robot collaboration

Abstract

Natural language understanding and communication is a key aspect of human-robot collaboration. Concerning natural language understanding, various features need to be covered for creating an overall system. Apart from semantic parsing and mapping, the reusability and extendability of such a system requires consideration. In this thesis a system for natural language understanding based on dependency parsing is designed. The focus lies on extracting the meaning of spoken commands. A communication component is added for enabling on the one hand ambiguity resolving and on the other hand task suggestions on the part of the robot. The proposed system is evaluated with respect to its natural language understanding capabilities. The evaluation revealed the high impact of speech recognition on semantic parsing. The significantly enhanced spoken command understanding unveiled the benefit of an ambiguity resolving communication component. Das Verstehen natürlicher Sprache und Kommunikation sind zentrale Elemente für die Zusammenarbeit von Mensch und Maschine. Um ein Gesamtsystem zu gestalten, müssen diverse, das Sprachverstehen betreffende Eigenschaften umgesetzt werden. Abgesehen von der semantischen Satzanalyse und der Bedeutungszuordnung erfordert auch die Wiederverwendbarkeit und Erweiterbarkeit eines solchen Systems Berücksichtigung. In dieser Arbeit wird ein System zum Verstehen natürlicher Sprache basierend auf Abhängigkeitsanalysen entworfen. Im Mittelpunkt steht das Extrahieren von Bedeutungen aus gesprochenen Kommandos. Eine hinzugefügte Kommunikationskomponente ermöglicht zum einen das Auflösen von Unklarheiten und zum anderen Aufgabenvorschläge seitens des Roboters. Das vorgeschlagene System wird, bezüglich seiner Fähigkeit natürliche Sprache zu verstehen, untersucht. Die Evaluation offenbarte einen starken Einfluss der Spracherkennung auf die semantische Satzanalyse. Außerdem wurde durch ein erheblich gesteigertes Verstehen von gesprochenen Kommandos der Nutzen einer Unklarheiten auflösenden Kommunikationskomponente klar ersichtlich.