Risk awareness in poker planning agents

Abstract

The research of games has proven to be an ideal test bed for development in the artificial intelligence field. By solving different games, most prominently chess and checkers, researchers were able to develop, and improve important ideas and algorithms, within a closed and well-defined domain structure, which then could be translated to the real world. The approaches and techniques for these games of perfect information, however, did not always translate perfectly to real life domains. One important factor which was not covered is the notion of risk and uncertainty, that comes with most decisions in real environments. To tackle these problems, a different class of game, where randomness and unpredictability plays a big role, must be used to study decision making. Poker is one of those games, as it builds upon the principle of incomplete information along with possibilities for deception. Poker in general, and especially the variant No Limit Texas Hold’em Poker, has proven to be a valuable yet challenging domain to solve, attracting the attention of many researchers. Multiple approaches for AI powered playing have been taken, resulting in the creation of poker playing agents which are on par with professional poker players. In this thesis we want to explore the possibilities of a new way of approaching the complex problem of No Limit Texas Hold’em Poker, by applying a risk-aware HTN planning technique, judging and evaluating the effectiveness of this approach for this very demanding domain in particular.

Die Untersuchung von Spielen hat sich als eine ideale Testumgebung für Entwicklungen im Bereich der Künstlichen Intelligenz herausgestellt. Durch das vollständige Lösen von verschiedenen Spielen, am bekanntesten Schach und Dame, konnten Forscher wichtige Ideen und Algorithmen innerhalb einer geschlossenen und gut strukturierten Domäne entwickeln, welche sich dann auf die echte Welt übertragen ließen. Einige dieser Ansätze für Spiele, die auf perfekten informationen beruhen lassen sich allerdings nicht einwandfrei übertragen. Ein wichtiger Faktor, der dort nicht berücksichtigt wurde, ist das Konzept des Risikos und der Ungewissheit, die mit den meisten Entscheidungen einhergeht. Um diese Probleme anzugehen, muss eine andere Klasse von Spielen untersucht werden, in denen Zufälle und Unvorhersehbarkeit eine große Rolle spielen. Poker ist eines dieser Spiele, da es auf den Prinzipien der unvollständigen informationen, sowie der Täuschung beruht. Das Spiel hat sich als wertvolle, aber schwierige Umgebung herausgestellt, die die Aufmerksamkeit vieler Wissenschaftler auf sich zieht. Mehrere Ansätze für KI gesteuertes spielen wurden genutzt, was zu der Erschaffung von Computer Poker Spielern führte, die auf dem selben Niveau wie professionelle Spieler stehen. In dieser Arbeit wollen wir the Möglichkeiten einer neuen Art das komplexe Problem das No Limit Texas Hold’Em Poker darstellt erforschen, indem wir eine risiko-bewusste HTN planungs Technik anwenden, und die effektivität dieser in der herausfordernden Poker Umgebung bewerten.