♦ Lo que el autoaprendizaje de AlphaZero realmente enseñó a los investigadores de póker

En diciembre de 2017, DeepMind publicó un artículo sobre AlphaZero, un programa que había aprendido ajedrez, shogi y go por sí mismo, sin nada más que las reglas de cada juego y partidas contra versiones anteriores de sí mismo. En pocas horas superaba a programas construidos sobre décadas de teoría de apertura acumulada por humanos. Se convirtió en una de las historias definitorias de la inteligencia artificial de esa década: descartar los libros y dejar que la máquina se vuelva experta jugando contra sí misma.

El póker vivía su propio experimento paralelo casi al mismo tiempo, y las diferencias entre ambas historias dicen más que las coincidencias.

Creemos que la lección real de esta etapa no es que el póker haya quedado "resuelto" como pareció suceder con el ajedrez. Es que el autoaprendizaje, cuando los investigadores intentaron aplicarlo a un juego de cartas, chocó de frente con un hecho estructural que AlphaZero nunca tuvo que enfrentar: en el póker nadie ve el tablero completo.

Qué significaba el autoaprendizaje en un juego completamente visible

El método de AlphaZero tiene una genealogía concreta. TD-Gammon, el programa de backgammon que Gerald Tesauro construyó en IBM a comienzos de los años noventa, ya había mostrado que un programa podía mejorar jugando contra sí mismo y ajustando una estimación de valor después de cada partida. AlphaZero llevó esa idea a otra escala: una red neuronal propone jugadas y evalúa posiciones, un procedimiento de búsqueda (Monte Carlo Tree Search) mira algunas jugadas adelante apoyándose en ese juicio de la red, y los resultados de las partidas jugadas contra sí mismo se usan para reentrenar la red, una y otra vez, desde cero.

Esto funciona con limpieza en ajedrez, shogi y go porque ambos jugadores ven siempre el mismo tablero. Existe, en principio, una jugada objetivamente mejor en cada posición, sin importar lo que cada jugador crea sobre el otro. Jugar contra una versión suficientemente fuerte de uno mismo es una manera razonable de acercarse a esa jugada.

Por qué el póker se resiste a ese truco

El póker rompe esa premisa desde su base. Tus cartas están ocultas para tu rival, y las suyas para ti. No hay una acción óptima única para una mano dada, porque la acción correcta depende de lo que tu rival crea que tienes, y esa creencia depende a su vez de cómo has jugado antes. El razonamiento es circular, y no se resuelve mirando una jugada más adelante como hace la búsqueda en ajedrez. Se resuelve con teoría de juegos.

Por eso la línea de investigación en póker que precede y corre paralela a AlphaZero se apoya en la minimización de arrepentimiento contrafactual (CFR), una técnica de autoaprendizaje propia, pero construida para converger hacia un equilibrio de Nash y no hacia "la jugada correcta". Un programa juega millones de manos contra versiones anteriores de sí mismo, registra cuánto habría ganado si hubiera actuado distinto en cada situación, y ajusta poco a poco su estrategia para reducir ese arrepentimiento en conjunto. A lo que converge no es una línea fija de juego sino una distribución sobre acciones: una estrategia que no puede ser explotada de forma confiable, sin importar qué haga el rival.

Un programa de póker no aprende a leer tu mano; aprende a ser ilegible, sea la mano que sea que tenga en ese momento.

Libratus, Pluribus y la prueba sobre la mesa

La demostración pública más clara vino de Carnegie Mellon, donde Noam Brown y Tuomas Sandholm construyeron Libratus, un programa que en enero de 2017 disputó una maratón de veinte días de hold 'em sin límite mano a mano contra cuatro profesionales de élite —Dong Kim, Jason Les, Daniel McAulay y Jimmy Chou— en el Rivers Casino de Pittsburgh. Los humanos se repartían una bolsa de premios fija sin importar el resultado, una decisión deliberada para que jugaran su mejor póker honesto en vez de proteger defensivamente un premio. Libratus ganó de forma contundente, revirtiendo lo ocurrido con Claudico, un programa anterior de Carnegie Mellon que había perdido un enfrentamiento similar contra profesionales dos años antes.

En 2019, el mismo equipo construyó Pluribus y llevó la idea más lejos, hacia el hold 'em sin límite de seis jugadores. Esto importa porque las garantías teóricas detrás del equilibrio de Nash se aplican con claridad sobre todo en juegos de dos jugadores de suma cero; con seis jugadores en la mesa, esas garantías se debilitan o desaparecen. Muchos investigadores esperaban que el póker multijugador resistiera este enfoque. Aun así, Pluribus produjo una estrategia, construida mediante autoaprendizaje y abstracción y no mediante un modelo específico de sus rivales humanos, que superó a un grupo rotativo de profesionales a lo largo de miles de manos.

• 2015 — Claudico (Carnegie Mellon) pierde un enfrentamiento mano a mano contra profesionales.
• 2017 — Libratus (Carnegie Mellon, Brown y Sandholm) vence a cuatro especialistas mano a mano en el Rivers Casino de Pittsburgh.
• 2017 — DeepStack (Universidad de Alberta, equipo de Michael Bowling) introduce estimaciones de valor con redes neuronales dentro de un solver de póker.
• 2019 — Pluribus (Carnegie Mellon / Facebook AI) vence a profesionales en hold 'em sin límite de seis jugadores.
• 2020 — ReBeL (Facebook AI Research) generaliza la receta de autoaprendizaje y búsqueda de AlphaZero a juegos de información oculta.

DeepStack y el regreso de la red neuronal

Casi al mismo tiempo, un equipo de la Universidad de Alberta dirigido por Michael Bowling presentó DeepStack, que reemplazó heurísticas construidas a mano por una red neuronal entrenada mediante autoaprendizaje para estimar el valor de las partes no resueltas del árbol de juego. Todavía no era exactamente la receta de AlphaZero, porque la búsqueda subyacente seguía apoyada en el arrepentimiento contrafactual y no en Monte Carlo Tree Search, pero devolvió el aprendizaje profundo al centro de la investigación en póker, y volvió menos casual y más inevitable la convergencia posterior con los métodos al estilo AlphaZero.

ReBeL cierra el círculo

Esa convergencia llegó en 2020, cuando Noam Brown y colegas de Facebook AI Research publicaron ReBeL, un método que generaliza explícitamente el enfoque de autoaprendizaje más búsqueda de AlphaZero a juegos de información imperfecta. El truco fue dejar de representar el estado del juego como una posición única, como hace el ajedrez, y representarlo en cambio como un estado de creencia pública: una distribución de probabilidad, visible para todos, sobre lo que cada jugador podría tener dadas todas las acciones públicas ocurridas hasta ese momento. Redefinido así el estado, un único algoritmo al estilo AlphaZero puede buscar y aprender a través del póker, o de otros juegos de información oculta, sin ingeniería específica añadida para cada caso.

Este es el verdadero puente entre las dos historias. Muestra que la idea central de AlphaZero —aprender una función de valor mediante autoaprendizaje y usarla para guiar la búsqueda— nunca estuvo restringida de fondo a la información perfecta. Solo necesitaba otra definición de lo que es una "posición".

Qué enseñó esto, y qué no enseñó

La lección más amplia para la investigación en inteligencia artificial es que el autoaprendizaje es un motor genuinamente poderoso para descubrir estrategia sin datos humanos, pero la forma del problema sigue importando enormemente. Una suposición cómodamente incorporada en un algoritmo puede ser un muro invisible para otro, y superar ese muro exigió un paso conceptual real, no solo más cómputo aplicado a la misma receta.

Para el póker en particular, este cuerpo de investigación confirmó algo que los jugadores atentos ya intuían desde la teoría de juegos mucho antes de que existiera cualquiera de estos programas: jugar bien no consiste en leer correctamente una mano, sino en mantenerse impredecible a lo largo de todas las manos que podrías tener. Es un hallazgo sobre la toma de decisiones bajo incertidumbre, con ecos reales en la investigación sobre subastas y negociación. No dice nada sobre convertir el póker en una fuente de ingresos, y le haríamos un flaco favor a nuestros lectores si sugiriéramos lo contrario.

Lo que nos parece valioso conservar es el cambio en el estatus académico del póker que produjo esta década. Un juego durante mucho tiempo asociado al temple y la intuición se volvió uno de los bancos de prueba más exigentes para entender cómo razonan las máquinas bajo información oculta, a la par del ajedrez y el go y no por debajo de ellos, y ese cambio de estatus es, por sí solo, un capítulo de la historia del póker que vale la pena recordar.