A proof of concept for risk-aware plan-based HTN planning

Abstract

With the rise of automation comes the need for automated decision-making. Real-world domains of business and industry often utilize automated agents, like robots, to perform various tasks. Automated agents rely on decision-making software to decide on a course of action to complete such tasks. When decision-making software chooses a sequence of actions for an automated agent to perform, a plan is created. This process of planning as well as decision-making software are subjects of study in the research field of Automated Planning, where a decision-making software is referred to as AI Planner. The manner in which an AI Planner conducts planning depends on the planning technique employed. One of the more widely used planning techniques is Hierarchical Task Network (HTN) planning, which composes available actions of a domain into a hierarchy, to allow for planning, resembling the way a human individual would conduct planning. A crucial factor in human planning is the notion of risk, since, in real-world domains, actions frequently lead to one of many possible results. Often there is no guarantee for a particular result, and some results might be undesirable. Therefore, when an individual performs planning, they take risk into account, as the individual stands to lose a certain amount of resource, such as money or time. The way an individual approaches planning with risk in mind, shows an attitude towards risk. An individual, avoiding risk bearing actions, shows a risk averse attitude, while an individual, taking risks, shows a risk seeking attitude. If no risk consideration is made, the individual shows a risk neutral attitude. For particular real-world domains, a reasonable individual would show a specific risk attitude out of necessity. Consider aviation, for example, where many would agree, that risk avoiding actions should be chosen. When risk bearing actions are chosen in such high stakes domains, undesirable results can include the loss of human lives. Therefore, dealing with risk by showing the appropriate risk attitude, is especially important in such domains. Since automated agents are often employed in those domains, AI Planners should be aware of risk and factor risk into planning. Furthermore, AI Planners should be able to perform planning according to an appropriate risk attitude, so automated agents can act according to this risk attitude. However, as far as we know, a risk-aware AI Planner is a rarity in the research field of Automated Planning. To contribute towards risk-aware planning, we present a proof of concept for an approach to risk-aware HTN planning. The approach employs utility functions to heuristically guide planning towards plans, that adhere to a specified risk attitude. The proof of concept comes in the form of Risk Aware PANDA3 (RAPANDA3), an extension to the AI Planner: Planning and Acting in a Network Decomposition Architecture 3 (PANDA3). On top of that, we propose an addition to an HTN input language, which allows the modelling of risk for actions. Furthermore, we provide multiple self designed HTN domains, which use this addition. With these domains, we conduct an evaluation of RAPANDA3, to scrutinize the implemented approach to risk-aware HTN planning, and to show, that this approach results in plans, adhering to a specified risk attitude.

Mit zunehmender Automatisierung steigt die Notwendigkeit einer automatisierten Entscheidungsfindung. In realen Domänen (domains) des Geschäfts- und Industriebereichs werden häufig automatisierte Akteure (agents) wie Roboter eingesetzt, um verschiedenste Aufgaben auszuführen. Automatisierte Akteure verlassen sich auf Entscheidungssoftware, um über eine Vorgehensweise zur Erledigung solcher Aufgaben zu entscheiden. Wenn Entscheidungssoftware eine Abfolge von Aktionen (actions) auswählt, die ein automatisierter Akteur ausführen soll, erstellt sie einen Plan. Dieser Prozess der Planung (planning) sowie Entscheidungssoftware sind Gegenstand der Untersuchung im Forschungsfeld des Automated Planning, in dem Entscheidungssoftware als AI Planner bezeichnet wird. Die Art und Weise, wie ein AI Planner die Planung durchführt, hängt von der verwendeten Planungstechnik (planning technique) ab. Eine der am weitesten verbreiteten Planungstechniken ist die Hierarchical Task Network (HTN) Planung, welche verfügbare Aktionen einer Domäne in einer Hierarchie zusammenfasst, um eine Planung zu ermöglichen, die der Art und Weise ähnelt, wie ein menschliches Individuum eine Planung durchführen würde. Ein entscheidender Faktor bei der menschlichen Planung ist Risiko, da Aktionen in der realen Welt häufig zu einem von vielen möglichen Ergebnissen führen. Oft gibt es keine Garantie für ein bestimmtes Ergebnis und manche Ergebnisse können unerwünscht sein. Daher wird Risiko von einer Person berücksichtigt, die sich im Planungsprozess befindet, da die Person Gefahr läuft, eine bestimmte Menge an Ressourcen wie Geld oder Zeit zu verlieren. Die Art und Weise, wie eine Person Risiko in ihre Planung einfließen lässt, zeigt eine Einstellung zum Risiko. Ein Individuum, das risikobehaftete Aktionen vermeidet, zeigt eine risikoscheue Einstellung (risk averse attitude), während ein Individuum, das Risiken eingeht, eine risikofreudige Einstellung (risk seeking attitude) zeigt. Erfolgt keine Risikoabwägung, zeigt das Individuum eine risikoneutrale Einstellung (risk neutral attitude). In bestimmten Domänen der realen Welt zeigt ein vernünftiges Individuum eine bestimmte Risikoeinstellung aus Notwendigkeit. Zum Beispiel in der Domäne der Luftfahrt, wo viele zustimmen würden, dass Risiko vermeidende Aktionen gewählt werden sollten. Wenn risikobehaftete Aktionen in solch Hochrisiko Domänen gewählt werden, können die möglichen unerwünschten Ergebnisse den Verlust von Menschenleben nach sich ziehen. Dadurch ist in solchen Domänen der Umgang mit Risiko durch eine passende Risikoeinstellung besonders wichtig. Da in diesen Domänen häufig automatisierte Akteure eingesetzt werden, sollten Ai Planner Risiko bewusst planen. Darüber hinaus sollten AI Planner in der Lage sein, die Planung entsprechend einer angemessenen Risikoeinstellung durchzuführen, sodass automatisierte Akteure gemäß dieser Risikoeinstellung handeln können. Jedoch, soweit wir wissen, ist ein risikobewusster AI Planner im Forschungsfeld des Automated Planning eine Seltenheit. Um zu risikobewusster Planung beizutragen, präsentieren wir einen Proof of Concept für ein Vorgehen der risikobewussten HTN Planung (risk-aware HTN planning). Das Vorgehen verwendet Nutzenfunktionen (utility functions), um Planung heuristisch auf Pläne auszurichten, die einer bestimmten Risikoeinstellung entsprechen. Der Proof of Concept kommt in der Form von Risk Aware PANDA3 (RAPANDA3), eine Erweiterung des AI Planner: Planning and Acting in a Network Decomposition Architecture 3 (PANDA3). Darüber hinaus schlagen wir eine Ergänzung zu einer HTN Eingabesprache vor, welche die Modellierung von Risiken für Aktionen ermöglicht. Weiterhin stellen wir mehrere selbst gestaltete HTN Domänen zur Verfügung, die diese Ergänzung nutzen. Mit diesen Domänen führen wir eine Evaluierung von RAPANDA3 durch, um das Vorgehen der risikobewussten HTN Planung zu überprüfen und zu zeigen, dass dieses Vorgehen zu Plänen führt, die einer bestimmten Risikohaltung entsprechen.