♦ Póker e inteligencia artificial: lo que el juego le dio a la informática

En julio de 2019, un programa llamado Pluribus se sentó contra cinco jugadores profesionales de póker en una sala de casino en Pittsburgh, llena de cámaras y con un dealer humano que seguía sus instrucciones. A lo largo de 10,000 manos, les ganó. No por hacer trampa ni por leer gestos. Ganó porque resolvió un problema que había resistido a la informática durante décadas: cómo tomar buenas decisiones cuando no sabes qué cartas tiene el otro, y cuando engañar una fracción del tiempo es matemáticamente correcto, no un rasgo de personalidad.

Ese resultado, publicado por Noam Brown y Tuomas Sandholm de la Universidad Carnegie Mellon, cerró un arco de investigación que venía desde los años noventa. El ajedrez y el go son juegos de información perfecta: ambos jugadores ven el mismo tablero. El póker no. Cada jugador tiene cartas privadas, y la jugada correcta depende de lo que creas que tiene el otro, de cómo apuesta, y de si te está mintiendo. La distancia entre lo que Deep Blue resolvió en 1997 y lo que Pluribus resolvió en 2019 es la distancia entre juegos con un estado conocido y decisiones reales tomadas bajo incertidumbre, que es básicamente todo lo que enfrentan las personas y las máquinas en la vida real.

Esta es la parte de la historia del póker que casi nunca aparece en la publicidad de casinos ni en la nostalgia de la mesa de fieltro. El juego se convirtió en un laboratorio para algoritmos que hoy están dentro de sistemas de subastas, software de negociación y asignación de recursos de seguridad. Vale la pena separar lo que esa investigación produjo realmente de quién cobra por ella, porque son dos preguntas distintas con dos respuestas distintas.

Por qué el póker, y no otro juego de cartas

El póker pertenece a una clase de problemas que los teóricos de juegos llaman juegos de información imperfecta. El bridge, el Stratego y algunos escenarios de negociación comparten esa estructura, pero el póker tiene dos propiedades que lo hicieron el banco de pruebas preferido. Primero, las reglas son simples y fijas: una baraja finita, rondas de apuestas claras, pagos explícitos. Segundo, los resultados se miden en una sola unidad, fichas o dinero, lo que permite calificar el desempeño de un algoritmo sin ambigüedad.

Esas dos propiedades hicieron al póker manejable de una forma en que, por ejemplo, modelar una negociación comercial no lo es. Puedes hacer que un algoritmo de póker juegue contra sí mismo millones de veces en una tarde y obtener un número limpio. Ese ciclo, jugar, medir, ajustar, repetir, es el mismo que impulsa la mayoría del aprendizaje automático moderno, y el póker le dio a los investigadores un terreno lo bastante limpio para correrlo a gran escala décadas antes de que existiera el poder de cómputo para hacerlo con problemas más desordenados.

De Libratus a Pluribus: el arco de investigación

El avance no llegó de golpe. En 2015, Claudico, un programa anterior de Carnegie Mellon, perdió contra un equipo de jugadores profesionales en hold'em sin límite cara a cara, aunque sin una ventaja estadísticamente decisiva. Dos años después, Libratus venció a cuatro especialistas de alto nivel en el mismo formato durante 120,000 manos, con una ventaja estadística clara, y el resultado resistió el escrutinio porque esa cantidad de manos basta para separar la habilidad de la varianza.

Libratus resolvió el caso de dos jugadores. Pluribus, en 2019, extendió el enfoque a seis jugadores simultáneos, un problema mucho más difícil, porque las garantías de teoría de juegos que existen para juegos de suma cero entre dos jugadores en su mayoría no existen cuando hay más de dos partes con incentivos desalineados. Brown y Sandholm lograron que Pluribus funcionara bien de todos modos, con un enfoque que aproximaba buenas estrategias sin necesitar una prueba formal de que esas estrategias fueran imbatibles. Ese cambio, de la optimalidad demostrable a la aproximación sólida, es en sí mismo una idea útil fuera del póker, porque la mayoría de los problemas estratégicos reales involucran más de dos partes y no ofrecen una garantía matemática limpia.

El póker le dio a la informática una forma barata y medible de estudiar decisiones tomadas sin información completa, años antes de que existiera el hardware para hacerlo en otros terrenos.

Lo que realmente salió de la mesa de póker

Las técnicas específicas desarrolladas para Libratus y Pluribus, con la minimización de arrepentimiento contrafactual a la cabeza, son hoy métodos de referencia que se enseñan en cursos de teoría de juegos e inteligencia artificial. Esta técnica, conocida como CFR por sus siglas en inglés, funciona haciendo que un algoritmo juegue contra sí mismo repetidamente, registrando cuánto habría ganado si hubiera actuado distinto en cada punto de decisión, y ajustando su estrategia hacia un arrepentimiento menor con el tiempo. No necesita datos etiquetados ni ejemplos humanos. Genera su propia señal de entrenamiento solo con el autojuego, el mismo principio que luego se usó en sistemas para jugar go y otros dominios.

• Asignación de recursos bajo incertidumbre, usada en algunos enfoques de patrullaje de ciberseguridad y protección de infraestructura
• Diseño de subastas, donde los postores tienen valoraciones privadas similares a las cartas privadas del póker
• Agentes de negociación automatizada, que deben inferir los objetivos de otra parte a partir de señales limitadas
• Pruebas de robustez para sistemas de inteligencia artificial, donde un algoritmo debe funcionar bien contra un adversario que intenta explotar sus debilidades

Nada de esto significa que un algoritmo que resuelve póker se haya reempaquetado tal cual en el software de una empresa de logística. Lo que se transfirió fue la matemática subyacente: una familia de técnicas para manejar información oculta y engaño estratégico que resultó útil mucho más allá de una mesa de cartas. El laboratorio de Sandholm en Carnegie Mellon ha publicado sobre la aplicación de estos métodos a juegos de seguridad usados por grupos como la Guardia Costera de Estados Unidos para programar patrullajes, una línea directa y documentada entre la investigación en póker y una aplicación práctica ajena al juego de apuestas.

La economía real: quién gana dinero y cómo

Aquí vale la pena ser directo sobre el dinero, porque la historia de la investigación y la historia del ingreso no son la misma historia. Quienes se benefician económicamente de la investigación en póker e inteligencia artificial son, en su mayoría, académicos, laboratorios universitarios y las empresas tecnológicas que los contratan, no los jugadores en una mesa. Brown pasó después a trabajar en Meta AI y luego en OpenAI, aplicando lecciones de la investigación en póker a otros dominios. Sandholm cofundó Strategic Machine y Strategy Robot, empresas que licencian tecnología de resolución de juegos a clientes gubernamentales y privados para aplicaciones ajenas al juego de apuestas.

Eso es un canal de investigación a industria, y se parece a la mayoría de los otros canales académico-comerciales en informática: publicar, patentar cuando corresponde, fundar una empresa derivada, vender experiencia. No pasa por el fieltro de la mesa. Un jugador profesional de póker no se beneficia económicamente del hecho de que un algoritmo pueda ahora ganarle en hold'em cara a cara. Si algo, ocurre lo contrario: la existencia de software capaz de superar a humanos en póker ha hecho al póker en línea más vulnerable al uso de bots y a la colusión, y los operadores de salas han tenido que gastar dinero real en sistemas de detección como consecuencia directa de la misma investigación que hizo avanzar a la informática.

Para un jugador común, nada de esto cambia la realidad financiera básica del juego. El póker sigue siendo una forma de apuesta con varianza real, y el hecho de que un laboratorio de investigación bien financiado pueda construir software que vence a humanos en una versión simplificada del juego no dice nada sobre si una persona en particular saldrá adelante en una sesión, un año o toda su vida. El resumen honesto es que el póker generó avances genuinos y citables en informática, y que el dinero producido por esos avances fluye principalmente hacia universidades, laboratorios y el puñado de empresas construidas alrededor de esa propiedad intelectual, no hacia las salas donde realmente se juega.

Cómo deberíamos leer la investigación sobre póker

Cuando un titular dice que una inteligencia artificial venció a jugadores profesionales de póker, la reacción honesta es interés por el algoritmo, no una señal sobre cómo jugar mejor ni una razón para esperar mejores probabilidades. La investigación es un aporte genuino a cómo las máquinas manejan la incertidumbre y el engaño, dos problemas mucho más antiguos que el póker y mucho más grandes que el juego mismo. Leerlo como una historia de apuestas pasa por alto lo que realmente ocurrió en esa sala de casino en Pittsburgh en 2019.

El marco honesto es más estrecho y más interesante que el ángulo de apuestas: el póker resultó ser una versión limpia y bien definida de un problema que la informática necesitaba resolver, y lo resolvió mucho antes de que el resto del mundo tuviera ejemplos igualmente manejables con los que trabajar.