Analyzing realistic aspects of AI planning knowledge models

Abstract

Every few years, the International Planning Competition (IPC) challenges Artificial Intelligence (AI) planning systems with various problems to advance research in this field. These systems utilize knowledge models, also referred to as benchmarks in the context of the IPC, to acquire the necessary knowledge for generating solutions to specific planning problems. Due to the wide use of such systems in the real world, realism should not be neglected while developing knowledge models; otherwise, produced plans might not be applicable or subpar. Therefore, by modeling the benchmarks realistically, the results of the IPC could become more meaningful for real-world applications. To qualitatively assess realism, we apply a conceptual framework known as the realistic-aspects framework to the benchmarks used in the Hierarchical Task Network (HTN) track. This track focuses on the HTN planning approach, which is commonly used in practical applications and decomposes complex tasks into more manageable subtasks using a hierarchical structure, enabling efficient problem-solving. We further enhance this framework by modifying specific components. Additionally, we develop metrics based on this framework to measure realism quantitatively. The presented evidence suggests that many knowledge models, in general, and those used at the IPC in particular, fail to reflect certain aspects present in real-world domains. The improved version of the framework, along with the synthesized metrics, reinforces those findings. The ability to measure realism, both qualitatively and quantitatively, offers planning engineers a practical way to develop realistic knowledge models. Consequently, this could improve the practical relevance of IPC results and encourage broader adoption of AI planning systems in various real-world domains. Alle paar Jahre stellt die International Planning Competition (IPC) AI-Planungssysteme vor verschiedene Probleme, um die Forschung auf diesem Gebiet voranzutreiben. Diese Systeme nutzen Wissensmodelle, die im Kontext der IPC auch als Benchmarks bezeichnet werden, um das notwendige Wissen für die Erstellung von Lösungen für spezifische Planungsprobleme zu erlangen. Aufgrund der weit verbreiteten Nutzung solcher Systeme in der realen Welt sollte der Realismus bei der Entwicklung von Wissensmodellen nicht vernachlässigt werden; andernfalls könnten die erstellten Pläne unbrauchbar oder minderwertig sein. Daher könnten die Ergebnisse der IPC durch eine realistischere Modellierung der Benchmarks für reale Anwendungen aussagekräftiger werden. Um den Realismus qualitativ zu bewerten, wenden wir ein konzeptionelles Rahmenwerk, das als realistic-aspects framework bekannt ist, auf die Benchmarks an, die im Hierarchical Task Network (HTN) Track verwendet werden. Dieser Track konzentriert sich auf den HTN-Planungsansatz, der in praktischen Anwendungen weit verbreitet ist und komplexe Aufgaben in handhabbarere Unteraufgaben mittels einer hierarchischen Struktur zerlegt, wodurch effizientes Problemlösen ermöglicht wird. Wir verbessern dieses Framework weiter, indem wir bestimmte Komponenten modifizieren. Zusätzlich entwickeln wir Metriken auf Basis dieses Rahmenwerks, um den Realismus quantitativ messen zu können. Die vorgestellten Beweise deuten darauf hin, dass viele Wissensmodelle, sowohl allgemein als auch insbesondere die beim IPC verwendeten, bestimmte Aspekte nicht widerspiegeln, die in realen Anwendungsbereichen vorhanden sind. Die verbesserte Version des Rahmenwerks zusammen mit den synthetisierten Metriken unterstreicht diese Erkenntnisse. Die Fähigkeit, Realismus sowohl qualitativ als auch quantitativ zu messen, bietet Planungsingenieuren eine praktische Möglichkeit, realistische Wissensmodelle zu entwickeln. Folglich könnte dies die praktische Relevanz der IPC-Ergebnisse verbessern und eine breitere Akzeptanz von AI-Planungssystemen in verschiedenen realen Anwendungsbereichen ermöglichen.