Un Atari de 1977 le ganó en ajedrez a ChatGPT

Por qué una IA con nivel de PhD pierde contra algo con menos memoria que mi reloj

Magnus Carlsen approves ;)

Hace menos de un mes, Sam Altman CEO de OpenAI, dijo que la IA ya puede realizar tareas con nivel de un PhD… pues te cuento que ChatGPT perdió en ajedrez contra un Atari (en el modo fácil).

¿Acaso ChatGPT no puede jugar ajedrez? ¿Cómo es posible que una máquina de los 70s destruya a una IA que piensa como un PhD?

Pues tiene mucho que ver con como funciona esta tecnología por dentro, vamos por partes.

…y no te preocupes, que no tienes que saber jugar ajedrez para seguir este post.

¿Un Atari, en serio?

Nací en 1979 (soy de los más jóvenes de la Generación X) y cuando era niño tuve la oportunidad de jugar Atari. Si naciste después del 1990, tal vez no sepas que era la consola de juegos más genial de los 70s y 80s… me acabo de sentir viejo.

Atari 2600

Esta maravilla de la tecnología tenía 128 bytes de RAM. Como lo leíste: bytes. No kilobytes, megabytes ni gigabytes, bytes a secas. Para que te des una idea, mi licuadora tiene más memoria.

Y este Atari podía jugar ajedrez, mira nada más qué bonito:

Así se veía el ajedrez en el Atari (¡no le pidas más, tenía 128 bytes!)

Y hacía una cosa que ChatGPT aún no puede… seguía las reglas del juego.

Pero… ¿no se supone que ChatGPT es más inteligente?

Sí, ChatGPT puede hacer recetas de cocina, escribir historias, resumir papers científicos, hasta puede explicarte la teoría de relatividad con dibujitos de dinosaurio. Con el ajedrez… digamos que se complica.

Pregúntale a tu chatGPT si sabe las reglas del ajedrez y responderá todas y cada una de tus preguntas, hasta es probable que te lo explique mejor que un maestro. Pero poder explicarlo y poder jugarlo son dos cosas completamente diferentes.

Lo que está haciendo no es jugar ajedrez, sino imitando una conversación sobre los movimientos de ajedrez. No está “pensando” qué movimiento es el que le dará más ventaja, tampoco está anticipando qué moverá el rival. No.

Lo único que está haciendo es tratando de predecir cual debería ser la próxima palabra en su conversación de ajedrez.

En un juego de ajedrez, los primeros movimientos se llaman “apertura” y son movimientos que los jugadores se aprenden de memoria, luego de algunas jugadas la apertura termina, y ahí cada jugador depende de su habilidad.

ChatGPT debe haber sido entrenado con miles de textos que describen las aperturas, y eso le permite simular con tranquilidad esta primera parte del juego de la conversación. Pero cuando se le acaban las jugadas “que ha visto antes”, empieza a improvisar... mal. A veces hace movimientos que no están permitidos, otras simplemente se olvida de las reglas, y hasta hay quienes lo han visto mover piezas que ya no están en el tablero! (en serio).

¿Por qué pasa esto? Porque no “ve” el tablero. No tiene cómo saber donde están todas las piezas. Sólo está viendo texto y tratando de predecir la siguiente palabra.

Esto no sólo pasa en ajedrez…

Ya sabes que ChatGPT es muy bueno para muchas tareas. Desde escribirle un correo a tu jefe, hacer el resumen de ese reporte de 900 páginas que no piensas leer completo, hasta explicarte un tema complejo con manzanitas.

Pero explicar no es lo mismo que hacer.
Que te pueda decir cuales son las reglas de un juego no es lo mismo que saber jugarlo bien.

Hay tareas, como jugar ajedrez (o cualquier otra en la que necesites entender una estructura para saber qué es lo que está pasando), que necesitan mucho más que sólo saber responder. Debes poder entender algo que cambia paso a paso y seguirle el hilo a las cosas, por no mencionar que tienes que saber a donde quieres llegar.

Para jugar ajedrez necesitas:

• Recordar lo que pasó antes.

• Saber exactamente cómo están todas las piezas en el tablero

• Anticipar lo que tu oponente quiere hacer.

• Escoger una jugada que no solo sea válida, sino que te acerque a tu objetivo final.

En otras palabras, hay que pensar más allá de la próxima jugada. Tienes que imaginar posibles futuros, tomar decisiones, evaluar riesgos… y todo esto sin peder de vista tu objetivo.

Como te imaginarás, esto no solo se aplica en ajedrez, también es necesario para tareas complejas de la vida y los negocios.

Y ni hablar de tener una representación visual del mundo. Para que una IA pueda jugar de verdad necesita poder imaginar el tablero, mover mentalmente las piezas, entender el espacio. Todo eso, por ahora, no puede hacerlo. Por eso hasta le es complicado jugar Pokemon :P

¿Y no se puede arreglar?

Sí… no… más o menos.

Hay formas de hacer que ChatGPT juegue un poco mejor, y cuando digo “mejor” estoy hablando de dar la impresión de jugar de manera más coherente por más tiempo antes de empezar a inventarse jugadas que no existen.

En este tipo de problemas (y no hablo sólo del ajedrez), cada paso que uno da cambia todo el panorama, abre nuevas posibilidades, cierra caminos que hasta hace minutos parecían buena idea, nos obligan a cambiar de estrategia sobre la marcha… y por más que lo vendan con un PhD, ChatGPT es malo cuando se trata de afrontar esas situaciones.

Una forma para tratar de hacer que no se equivoque tanto es darle información, no solo del contexto, sino de cómo ha cambiado la situación. En ajedrez esto se puede hacer describiéndole todos los movimientos que han pasado, o diciéndole dónde está cada pieza en el tablero.

¿Funciona?
Sí. mejora un poco el rendimiento
¿Soluciona el problema de fondo?
No.

Porque el problema no tiene que ver con la información que tiene a la mano, sino como procesa esa información. Puedes darle todas las jugadas, fotos del tablero, hasta una estampita de Kasparov… ChatGPT va a seguir haciendo lo mismo. Predecir cual es la siguiente palabra en su conversación sobre ajedrez.

Tu estampita de Garry Kasparov, para la suerte!

ChatGPT no calcula, no razona, no ve el tablero, no se inclina frente a la estampita de Kasparov… solo está escribiendo algo que suena como una jugada.

Imagina una actriz de Hollywood, interpretando a una campeona de ajedrez. Va a sonar convincente y nos va a atrapar en la historia. Se va a parar frente al tablero como lo haría Judit Polgár o Magnus Carlsen… pero…
no está jugando, está actuando.

The Queen’s Gambit (Netflix)

Y hablando de eso ¿ya viste Gambito de Dama en Netflix?

PhD, pero en marketing!

Cada vez que escucho al CEO de una empresa de inteligencia artificial decir que su IA ha llegado al nivel de un PhD (cof, cof.. Sam Altman, cof), me viene a la mente Tony Stark.

Tony cuando escucha que una IA tiene el nivel de un PhD

Mientras “más inteligente” suene su IA, más vale su empresa, más titulares genera, más inversionistas se suman… y claro, decir que tu producto hace tareas de alguien con un doctorado, vende.

La discusión sobre si realmente tiene un nivel de PhD es para otro post, aunque personalmente lo dudo. Las pruebas que se le hacen a estos modelos tienen preguntas muy cerradas y no parecen evaluar el proceso de pensamiento de un doctorado.

Y eso no quiere decir que ChatGPT no sea una herramienta súper potente, sabemos que puede hacer muchas cosas muy bien, pero me preocupa que cuando alguien escuche que su IA es un PhD, se emocione y trate de reemplazar a su abogado o a su médico con esta tecnología. Eso sería un completo desastre.

Una cosa es que la máquina suene como experto y otra muy diferente es que lo sea.

Jaque mate.

¿Cuál es mi punto?

No creo que ChatGPT sea tonto, pero tampoco es brillante.
Es otra cosa.

Es una máquina que ha sido entrenada para predecir texto. Una herramienta muy potente que puede sonar como un experto sin serlo, explicar conceptos sin realmente comprenderlos (como humano) o hasta tratar de jugar torpemente ajedrez sin ver el tablero.

¿Eso significa que no sirve? Para nada. Es una herramienta alucinante que uso todos los días y que está cambiando el mundo. Sólo digo que si realmente queremos usarla bien tenemos que entender cómo funciona, y a veces el marketing no ayuda.

La IA no es magia, es tecnología. Y hay algo que no tiene: criterio.
Para eso estamos nosotros.

Una nota personal

Me encanta jugar ajedrez. Todas las mañanas, luego de que los chicos se han ido al colegio, me siento con una taza de café a jugar un par de partidas en chess.com antes de empezar el día.

También juego casi todos los días con mi hijo. Tiene 9, pero le gana a muchos adultos (incluyéndome).

Fue mi papá quien me enseñó a jugar.
También le enseñó a mi hijo.
Gracias papá.

– Germán

.