♣ Cómo el problema de la información oculta del póker moldeó la IA

En 1997, una máquina venció a un campeón mundial de ajedrez, y por un tiempo pareció que la historia entre la inteligencia artificial y los juegos quedaba resuelta. El triunfo de Deep Blue sobre Garry Kasparov se celebró como un hito de la computación, y lo fue. Pero también fue, en cierto modo, engañoso, porque el ajedrez, con toda su profundidad, es un juego donde ambos jugadores ven el tablero completo en todo momento. No hay información oculta que interpretar, solo una cantidad enorme de jugadas posibles que explorar.

El póker no ofrece esa comodidad. Dos jugadores en una mesa conocen sus propias cartas y nada más sobre las del otro. El juego se construye sobre información incompleta, sobre el farol, sobre el hecho de que la decisión correcta en una situación dada depende de lo que el rival crea que tienes, lo cual depende a su vez de lo que ese rival piensa que tú crees. Durante décadas, esto convirtió al póker en un problema mucho más difícil para la informática que el ajedrez o, más tarde, el go — y en uno más interesante.

Esa dificultad es precisamente la razón por la que el póker se volvió uno de los bancos de pruebas más importantes en la investigación de inteligencia artificial de los últimos veinticinco años. Mucho antes de que los modelos de lenguaje pusieran de moda el término, investigadores usaban el póker en silencio para resolver problemas que el ajedrez jamás podría plantear.

Los límites de la información perfecta

Los teóricos de juegos dividen los juegos en dos grandes familias. En los de información perfecta —ajedrez, damas, go— cada jugador puede ver el estado completo del juego en todo momento. El desafío es computacional: explorar suficiente del árbol de jugadas, evaluar posiciones con precisión, y se converge hacia un juego fuerte. Así fue como IBM venció a Kasparov y, en 2016, cómo AlphaGo, de DeepMind, venció a Lee Sedol, una hazaña que muchos investigadores esperaban que tomara otra década.

El póker pertenece a la otra familia, la de los juegos de información imperfecta, junto con la negociación, las subastas y la mayoría de las decisiones económicas reales. En estos juegos no existe una única jugada óptima independiente de lo que el rival pueda hacer o creer. Una mano jugada con las cartas boca arriba sería trivial; todo el juego descansa en lo que permanece oculto. Construir una máquina que jugara bien bajo esa condición significaba construir una máquina capaz de razonar sobre la incertidumbre y el engaño, no solo de calcular resultados.

La partida larga de Alberta

El Computer Poker Research Group de la Universidad de Alberta, formado en los años noventa bajo la dirección de Jonathan Schaeffer —el mismo informático que había construido Chinook, el programa de damas que terminaría resolviendo ese juego por completo— pasó años desarrollando programas de póker con nombres como Loki, Poki y, finalmente, Polaris. En 2007 y 2008, Polaris disputó partidas de exhibición contra jugadores profesionales en Vancouver, con resultados lo bastante reñidos como para mostrar que la brecha entre máquina y humano se cerraba con rapidez.

El resultado más trascendente del grupo llegó después. En 2015, un programa llamado Cepheus, desarrollado por Michael Bowling y colegas en Alberta, fue descrito en la revista Science como habiendo resuelto esencialmente el limit hold'em heads-up —es decir, su estrategia se acercaba lo suficiente al óptimo de teoría de juegos como para que ningún rival, por hábil que fuera, pudiera esperar vencerlo por un margen significativo a lo largo de un número muy grande de manos. Sigue siendo uno de los pocos juegos de verdadera profundidad estratégica resueltos a ese nivel.

El arrepentimiento, minimizado

Nada de esto habría sido posible sin un cambio en la manera de pensar los algoritmos. En 2007, investigadores como Martin Zinkevich, Michael Johanson y Michael Bowling presentaron la minimización de arrepentimiento contrafactual, un algoritmo —conocido hoy como CFR— para hallar estrategias de equilibrio aproximado en juegos grandes con información oculta.

La idea, despojada de su matemática, es directa: un programa juega contra sí mismo una y otra vez, y después de cada mano se pregunta qué habría hecho distinto en retrospectiva, en cada punto de decisión, dado cómo se desarrolló realmente la mano. Ajusta su estrategia alejándose de las decisiones que lamenta y acercándose a las que habrían rendido mejor. Repetido a lo largo de millones de manos, esto converge hacia una estrategia muy difícil de explotar. El CFR y sus variantes posteriores se convirtieron en la columna vertebral de casi todo programa serio de póker que vino después, y la técnica se ha adaptado desde entonces mucho más allá del póker.

Libratus, Pluribus y el problema de varios jugadores

Resolver el limit hold'em heads-up fue un hito, pero el limit hold'em, con sus tamaños de apuesta fijos, es un juego relativamente contenido. El no-limit hold'em, donde un jugador puede apostar cualquier cantidad en cualquier momento, expande enormemente el árbol de decisiones. En 2017, un programa llamado Libratus, desarrollado por Tuomas Sandholm y su entonces estudiante de doctorado Noam Brown en Carnegie Mellon University, disputó una partida de veinte días de no-limit hold'em heads-up contra cuatro jugadores profesionales en Pittsburgh y ganó por un margen que ya no dejaba dudas estadísticas serias.

Dos años después, Sandholm y Brown fueron más lejos con Pluribus, un programa que jugó no-limit hold'em a seis jugadores —un formato con una complejidad estratégica mucho mayor que el heads-up, ya que los conceptos de equilibrio que funcionan de manera limpia para dos jugadores no se extienden con facilidad a cinco rivales. Pluribus se enfrentó a jugadores profesionales de alto nivel, entre ellos Darren Elias y Chris Ferguson, y sus resultados también se publicaron en Science. Lo que llamó la atención de la comunidad informática no fue tanto la victoria como los recursos detrás de ella: el programa corrió en hardware relativamente modesto, señal de que era la técnica, y no la fuerza bruta computacional, la que estaba haciendo el trabajo.

• Programación de patrullajes humanos y robóticos para la seguridad de aeropuertos e infraestructura, basada en modelos de teoría de juegos afinados primero en la investigación sobre póker
• Agentes de negociación que deben actuar sin conocer del todo las restricciones de la otra parte
• Diseño de subastas y estrategias de puja, donde las valoraciones ocultas replican el mecanismo de las cartas ocultas
• Asignación de recursos en ciberseguridad, tratando a atacante y defensor como jugadores con información incompleta entre sí
• El aprendizaje por refuerzo multiagente en general, donde métodos derivados del CFR se usan mucho más allá de cualquier juego de cartas

Más allá de la mesa

Vale la pena precisar qué muestra esta investigación y qué no. Nada de esto significa que una máquina, o una persona, pueda convertir al póker en una fuente confiable de ingresos; los juegos que estos programas dominaron fueron contiendas acotadas y completamente especificadas, disputadas en condiciones que ninguna partida real de cash o de torneo reproduce, y la varianza inherente al póker no desaparece porque un algoritmo juegue bien en promedio. Lo que muestra la investigación es algo más acotado y, para la informática, más útil: que un juego construido sobre el farol y la información oculta podía formalizarse lo suficiente como para que las máquinas razonaran sobre él con rigor.

Eso resulta relevante para una amplia variedad de problemas que no tienen nada que ver con las cartas. Agencias de seguridad que programan patrullajes, negociadores que estructuran una oferta, formadores de mercado que fijan precios bajo información incierta —todos estos son, en el lenguaje de la teoría de juegos, juegos de información imperfecta, y los algoritmos puestos a prueba primero en una mesa de póker han encontrado su camino hacia todos ellos.

El póker le dio a la informática su laboratorio más claro para un problema que el ajedrez nunca tuvo que enfrentar: cómo actuar bien cuando no se puede ver todo.

Hay cierta ironía en que un juego de cartas asociado, con razón o sin ella, a la bravuconería haya resultado ser uno de los bancos de pruebas más rigurosos de la informática moderna. Pero la ironía es solo superficial. El póker obliga a quien decide a razonar con honestidad sobre lo que no sabe, y ese es precisamente el tipo de problema que vale la pena enseñarle a pensar mejor a una máquina —sin importar si alguno de nosotros tiene o no una mano en la mesa.