AI planning for poker player

Abstract

Throughout the history of computer science, games have always been a major driving factor in the development of the artificial intelligence field. The pioneers of computer science have identified the importance of games like chess, checkers, and other similar games and have spent years working on solving them. These games offered a great research framework with well-defined rules, distinct objectives, and a means of measuring performance. However, it was also recognized that perfect information games do not reflect the decision-making process in real life, where agents must embrace uncertainty and often deal with misinformation and deception. The game of poker successfully models these aspects of decision-making and can be used to study the behavior of intelligent agents in real-life domains. Poker has recently regained the attention of researchers, leading to significant breakthroughs elevating AI agents to the level of professional players. Several approaches have been used to solve poker, such as knowledge-based agents, enhanced simulation systems, theoretic equilibrium solutions, and exploitative counter-strategies. Nevertheless, to the best of our knowledge, HTN planning techniques have never been used before. In this thesis, we will explore the use of risk-aware HTN planning for playing no limit Texas Hold’em, the most strategically demanding variation of poker, which will allow us to investigate the potential of this approach.

In der Geschichte der Computerwissenschaft waren Spiele immer ein wesentlicher Faktor bei der Weiterentwicklung des Bereichs der künstlichen Intelligenz. Die Pioniere der Informatik haben die besondere Wichtigkeit von Spielen wie Schach, Dame und anderen ähnlichen Spielen erkannt und jahrelang daran geforscht, sie zu verstehen. Diese Spiele boten einen hervorragenden Forschungsrahmen mit klar definierten Regeln, eindeutigen Zielen und einem geeigneten Messinstrument für die Leistung. Es wurde jedoch auch erkannt, dass perfekte Informationsspiele nicht den Entscheidungsprozess im wirklichen Leben widerspiegeln, wo Agenten Ungewissheit in Kauf nehmen und oft mit Fehlinformationen und Täuschung umgehen müssen. Das Pokerspiel modelliert erfolgreich diese Aspekte der Entscheidungsfindung und kann verwendet werden, um das Verhalten intelligenter Agenten in realen Domänen zu untersuchen. Poker hat in letzter Zeit die Aufmerksamkeit der Forscher zurückgewonnen, was zu bedeutenden Durchbrüchen geführt hat, die KI-Agenten auf das Niveau von Profispielern gehoben haben. Zur Lösung des Pokerspiels wurden verschiedene Ansätze verwendet, z. B. wissensbasierte Agenten, verbesserte Simulationssysteme, theoretische Gleichgewichtslösungen und exploitative Gegenstrategien. Unseres Wissens nach wurden jedoch noch nie HTN-Planungstechniken eingesetzt. In dieser Arbeit wird der Einsatz von risikobewusster HTN-Planung für no limit Texas Hold’em, der strategisch anspruchsvollsten Pokervariante, untersucht, um das Potenzial dieses Ansatzes zu erforschen.