Inferring other agents' goal in collaborative environments using graphs

Abstract

KI findet sich heutzutage in Smartphones, Assistenzsystemen und diversen Internetanwendungen. Die Steuerung mechanischer Systeme, wie etwa bei selbstfahrenden Autos, übernimmt sie bisher allerdings nur in wenigen speziellen Fällen. Bevor sich diese Fälle häufen, ist es wichtig zu lernen, wie man KI so konzipiert, dass sie auch in Umgebungen mit anderen Teilnehmern einen nützlichen Beitrag leisten kann, ohne Menschen zu gefährden oder ihnen im Weg zu sein. Um diese soziale Intelligenz zu testen, wurde die „Watch-and-Help“ Challenge entworfen, in welcher ein Zusammenleben einer KI mit Menschen simuliert und evaluiert wird. Während der Zuschauphase (Watch), soll die KI verstehen, welche Aufgabe der Mensch derzeit erledigt. Ursprünglich hat die KI in dieser Phase zur Wahrnehmung ihrer Umgebung, diese mittels eines Transformers kodiert. Wir haben getestet, ob es möglich ist, den Transformer durch ein Graph Neuronales Netz auszutauschen, da diese sich in der Kodierung von Umgebungen sehr leistungsfähig gezeigt haben. Weiterhin haben wir die Auswirkung verschiedener Relationen im Umgebungsgraphen auf die Fähigkeiten unseres Netzwerkes untersucht. Schlussendlich gehen wir auf die Probleme mit der aktuellen Implementierung ein, und was es für Ansätze gibt, damit umzugehen.

After the arrival of AI in smartphones, assistance systems and many Internet applications, it slowly makes it way to embodied agents, for example self-driving cars. While physically manifested agents are uncommon and limited to special use cases, it is important to investigate how agents can be implemented to successfully cooperate in spaces with other participants. To test the social intelligence of agents, the Watch-and-Help challenge was presented, in which AI agents work together with humans in shared apartments. During the watch-phase of this challenge, the agent must infer another actor’s goal as they perform a common household task. Originally, the agent perceived its environment using a transformer to encode the state of the apartment. In this work, we tested if it was possible to replace the transformer with a Graph Neural Network, which are capable of encoding environments. We further investigate how different encoded relations in the environment graphs effect the capabilities of our new model, discuss its current problems, and propose approaches how to deal with these.