Multimodal LLM for Theory of Mind modeling in collaborative tasks

Abstract

Die Fähigkeit, die Überzeugungen, Wünsche und Absichten anderer zu deuten, wird als Theory of Mind (ToM) bezeichnet und ist unerlässlich für eine effektive Zusammenarbeit. In dieser Arbeit untersuchen wir diese Fähigkeit im Kontext von Mensch-Maschine-Kollaboration in der multimodalen Testumgebung Mindcraft. Im Gegensatz zu bisherigen Ansätzen modellieren wir ToM dabei nicht explizit in der Modellarchitektur und begrenzen unser Modell nicht auf vordefinierte Fragestellungen, sondern nutzen die Flexibilität und impliziten ToM-Fähigkeiten von Large Language Models (LLM). Dafür entwerfen wir eine Architektur für ein Multimodales Large Language Model (MM-LLM), in dem Informationen aus Video, Text und Graphen verarbeitet werden. In unseren Experimenten konnten wir zeigen, dass unser Modell bisherige Ansätze in den getesteten ToM-Aufgaben übertrifft und in manchen Aufgaben sogar menschliche Performance erreichen kann. Darüber hinaus zeigte unser MM-LLM, dass es zuverlässig fehlendes Wissen von sich selber und dem jeweiligen Partner verhersagen kann, um somit eine Basis für ein gemeinsames Verständnis in der Kollaboration zu legen. Die Relevanz von Multimodalität für diese Fähigkeiten konnte in unseren Experimenten nicht gezeigt werden. Hierfür nehmen wir an, dass aufgabenspezifisches Video-Encoding und -Sampling einen wichtigen Beitrag leisten würde. Insgesamt unterstreicht unsere Arbeit das Potential von MM-LLMs für eine effektive und intuitive Mensch-Maschine-Kollaboration, indem unser MM-LLM einen neuen Höchstwert für die Performance in ToM-Aufgaben in multimodalen Umgebungen festlegt.

The ability to infer the beliefs, desires, and intentions of others, known as Theory of Mind (ToM), is crucial for effective collaboration. In this work, we explore this ability in the context of task-oriented human-machine collaboration with a focus on Multimodal Large Language Models (MM-LLMs). While previous works relied on fixed question-answer pairs or explicit ToM modeling, we investigate the implicit ToM capabilities of MM-LLMs within the multimodal research environment Mindcraft. We propose a model architecture that integrates video, text and knowledge graphs to create a more realistic and flexible collaborative interface. Our findings show that MM-LLMs not only outperform specialized baseline models in ToM tasks but also achieve human performance in some scenarios. Furthermore, our model accurately predicts its own and the partner's missing knowledge in collaborative situations, demonstrating its potential for common-ground reasoning. However, the importance of multimodality for ToM tasks could not be confirmed in our experiments, suggesting that task-specific video sampling and encoding might be crucial for successful multimodal reasoning. Overall, this work reinforces the potential of MM-LLMs to enable more intuitive and efficient human-machine collaborations while surpassing previous baselines in ToM task performance within multimodal environments.