Into the minds of the chefs : using Theory of Mind for robust collaboration with humans in Overcooked

Abstract

Theory of Mind, die Fähigkeit auf die mentalen Zustände anderer Menschen zu schließen und diese als ursächlich für Verhalten zu identifizieren, ist für eine effektive Zusammenarbeit zwischen Menschen von entscheidender Bedeutung. In dieser Arbeit untersuchen wir, wie diese Fähigkeit die Zusammenarbeit zwischen Agenten erleichtern kann, insbesondere in Szenarien, in denen der zukünftige Partner unbekannt ist und dieser auch ein Mensch sein könnte. Während in anderen Arbeiten in der Literatur vor allem Umgebungen untersucht worden sind, in welchen die mentalen Zustände der Agenten eindeutig bestimmbar sind, z.B. in Spielen mit asymmetrischen Informationen, untersuchen wir Theory of Mind in einer kollaborativen Multi-Agenten-Umgebung, in welcher solche mentalen Zustände nicht durch die Umgebung bestimmt sind, nämlich Overcooked. Um dennoch die mentalen Zustände anderer Agenten vorhersagen zu können, schlagen wir drei Auxiliary-Tasks vor, welche wiederum von Theory of Mind inspiriert sind: Vorhersage (i) der nächsten Aktion des Partners, (ii) des nächsten strategischen Ziels des Partners und (iii) des neuronalen Zustands des Partners. Unsere Arbeit zeigt, dass Self-Play-Agenten, die mit diesen Auxiliary-Tasks trainiert wurden, zwar eine bessere Spielkompetenz aufweisen, aber bei der Kooperation mit Unbekannten unterdurchschnittlich abschneiden. Dies wiederum lässt darauf schließen, dass diese Auxiliary Tasks zu mehr Überspezialisierung mit sich selbst führt. Um diesem Problem zu entgegnen, fügen wir unsere Auxiliary-Tasks auch zu Methoden hinzu, die eine beste Antwort gegen eine Population diverser Agent trainieren und zeigen eine verbesserte Leistung bei verschiedenen Benchmarks, insbesondere im Layout Asymmetric Advantages. Insgesamt zeigt unsere Arbeit, wie wichtig die explizite Modellierung von Theory of Mind für die Zusammenarbeit von Multiagenten ist.

The ability to infer the believes, desires and preferences of other humans around us - referred to Theory of Mind - is crucial for effective human cooperation. In this work we investigate how this ability can facilitate cooperation among artificial agents, particularly in zero shot cooperation scenarios where the partner might be human. While previous works had access to ground truth belief states of the other agents during training, we study Theory of Mind based collaboration in a multi-agent collaborative environment where no ground-truth belief states exists, namely Overcooked. We propose three auxiliary tasks that agents are trained with which in turn are inspired by Theory of Mind: Predicting (i) partner's next action, (ii) partner's next strategic goal and (iii) partner's neural state. Our research demonstrates that self-play agents trained with these auxiliary tasks exhibit improved competence in playing the game but tend to underperform when interacting with others, suggesting a tendency towards overspecialisation on oneself. To address this challenge, we add our auxiliary tasks to population based methods for training against diverse populations and show increased performance on several benchmarks, especially on the layout Asymmetric Advantages. Overall, our work shows the importance of explicitly modelling Theory of Mind for multi-agent cooperation.