Neural-based methods for user simulation in dialog systems

Abstract

Spoken Dialog Systems allow users to interact with a Dialog Manager (DM) using natural language, thereby following a goal to fulfill their task. State-of-the-art solutions cast the problem as Markov Decision Process, leveraging Reinforcement Learning (RL) algorithms to find an optimal dialog strategy for the DM. For this purpose, several thousand dialogs need to be seen by the RL agent. A user simulator comes in handy to generate responses on demand, however the current state-of-the-art agenda-based user simulators lack the ability to model real human subjects. In this thesis, this problem is addressed by implementing a user simulator using a Recurrent Neural Network which approximates the agenda-based model in a first step. Going onwards, it is shown to learn noise and variance treated as varying user behavior. This is used to train the simulator on real data thus modeling real users.

Spoken Dialog Systems ermöglichen es Nutzern mittels Sprache oder Text, Aufgaben zu erledigen oder einfachen Zugang zu einer Datenbank zu erhalten. State-of-the-art Ansätze modellieren dieses Problem als Markov Decision Process. Dies ermöglicht den Einsatz von Reinforcement Learning (RL) Algorithmen, um eine optimale Strategie für den Dialog Manager zu finden. Dafür muss der RL Agent allerdings etliche Dialoge sichten. Ein Nutzersimulator generiert zu diesem Zweck die benötigten Antworten. Der state-of-the-art, Agenda basierte Nutzersimulator kann Nutzer jedoch nicht realitätsnah nachbilden. Diese Masterarbeit versucht das Problem zu lösen, indem ein Nutzersimulator mittels eines Recurrent Neural Networks implementiert wird. Es wird zuerst gezeigt, dass dieser den vorhandenen, händischen Nutzersimulator nachbildet. Weiterhin wird gezeigt, dass dieses Modell Rauschen (dargestellt als individuelles Nutzerverhalten) lernen und damit auch auf echten Daten trainiert werden kann, um Nutzer menschlich modellieren zu können.