Uncertainty aspects in Texas hold'em poker AIs : a comparative analysis

Abstract

The game of poker has long served as a testbed in which AI agents are developed in order to create solutions for decision-making processes when dealing with incomplete information. In this thesis we perform a scientific literature review (SLR) to analyze how AI agents overcome uncertainty in Texas Hold'em Poker. The review includes peer-reviewed publications from 2011 to 2025. Initially, the number of papers was around 900, after applying inclusion and exclusion criteria this number was reduced to 120 relevant works for the detailed analysis. The focus lies on the agents that approximate an ε-Nash equilibrium, by computing game-theoretic strategies, utilizing abstraction techniques, and variants of Counterfactual Regret Minimization (CFR). We address these key research questions: (1) Which metrics are used to compare poker AIs? (2) What forms of uncertainty are identified in poker AI, and how are they addressed in both theory and practice? Key findings include the advancements in Counterfactual Regret Minimization (CFR) and its variants, combined with techniques to abstract the game in order to solve it in a realistic time manner. Under the pretense of uncertainty, these findings are evaluated and presented accordingly. We also highlight a paradigm shift that moves away from static abstraction to dynamic real-time solving, which enables the AIs to perform better against humans. Das Kartenspiel Poker dient seit Langem als Testumgebung für die Entwicklung von KI-Agenten, die Entscheidungsprozesse unter unvollständiger Information bewältigen sollen. In dieser Arbeit wird eine systematische Literaturrecherche (SLR) durchgeführt, um zu analysieren, wie KI-Agenten mit Ungewissheit im Texas Hold'em Poker umgehen. Die Thesis umfasst begutachtete Publikationen aus den Jahren 2011 bis 2025. Die anfängliche Menge von rund 900 Arbeiten wurde mithilfe definierten Ein- und Ausschlusskriterien auf 120 relevante Veröffentlichungen reduziert. Der Fokus liegt auf Agenten, die ein ε-Nash Equilibrium approximieren, indem sie spieltheoretische Strategien berechnen, Abstraktionstechniken einsetzen und Varianten des Verfahrens des Counterfactual Regret Minimization (CFR) Algorithmus verwenden. Die Arbeit adressiert diese zentralen Forschungsfragen: (1) Welche Metriken werden zur Bewertung von Poker-KIs verwendet? (2) Welche Formen von Unsicherheit werden in Poker-KI identifiziert und wie werden sie sowohl in der Theorie als auch in der Praxis behandelt? Zentrale Erkenntnisse beinhalten Fortschritte im Bereich des CFR Algorithmus und dessen Varianten, kombiniert mit Abstraktionstechniken, die das Lösen des Spiels in realistischer Zeit ermöglichen. Diese Techniken werden im Kontext von Ungewissheit analysiert und hinsichtlich ihrer Auswirkungen bewertet. Ein besonderer Schwerpunkt liegt auf dem Paradigmenwechsel von statischer Abstraktion hin zu dynamischem, echtzeitfähigem Lösen, wodurch KI-Agenten eine verbesserte Leistung gegenüber menschlichen Gegnern erzielen.