Cuando una máquina tiene la última palabra
¿Y si aprovechamos el mundial (y sus polémicas) para hablar de esto?
Me imagino que muchos de nosotros hemos estado viendo los partidos del mundial. Por esta parte del mundo caen a una hora decente, aunque muchas veces se cruzan con el horario de trabajo. Nada que una pantalla cercana no pueda solucionar, porque no hay ningún problema en disfrutar del fútbol mientras trabajas (nada más no vayas a tomar más de una cerveza mientras lo haces).
Esta copa del mundo ha tenido más polémicas de las que esperaba, muchas de ellas por el VAR (Video Assistant Referee). Todo esto me dejó pensando en cómo la tecnología puede ayudar o arruinar algo tan normal como un partido de fútbol y cómo esto mismo pasa en nuestro día a día, a veces sin darnos cuenta.
Pero empecemos por el mundial…
La máquina que lo decide todo
Portugal vs. Croacia, dieciseisavos de final del Mundial, minuto 103. Croacia está perdiendo 2-1 y está a sólo segundos de irse a casa. Entonces llega un centro al área, la pelota cruza entre quinientos cincuenta y tres jugadores, hay un rebote y Josko Gvardiol se lanza para empatar el partido. Los croatas celebran como si hubieran ganado la copa (y con razón, era casi casi un milagro).
Y entonces el asistente levanta la bandera y el VAR revisa la jugada… a los pocos minutos el árbitro anula el gol. Resulta que la pelota “rozó” a otro jugador lo que generó una posición adelantada. Ahora, cuando digo que rozó, no me refiero a que la tocó con el pie o con la cabeza… fue con el pelo (WTF)…
Lo leíste bien, fue el pelo. La pelota no se movió y ninguna cámara captó eso, ni siquiera hubieron reclamos. Podría atreverme a decir que ningún humano notó ese roce, sólo el sensor que está dentro de la pelota lo registró y así, solo viendo el gráfico de un sensor, el árbitro anuló el gol y una selección salió del mundial porque un sensor mostró algo que nadie vio (o porque alguien se dejó el pelo largo).
Bye bye, Croacia.
Nueve días después, cuartos de final, juegan Inglaterra contra Noruega. El equipo de Haaland va ganando 1-0 y estamos en los descuentos del primer tiempo. El arquero noruego saca largo la pelota y en pleno vuelo cambia de dirección de manera rara, como si hubiera chocado con algo mientras se movía por el aire.
La repetición vuelve a mostrar el cambio de trayectoria, y da la casualidad que esto pasa justo por donde están los cables que sostienen la spider-cam (esa cámara que está suspendida en el aire y que nos muestra increíbles tomas aéreas)…
Pues resulta que luego de ese cambio de dirección la pelota llega directamente a los pies de un jugador inglés y luego de un par de buenos pases, Bellingham pone el 1-1. Ante los reclamos de los noruegos, la FIFA dijo que el bendito sensor de la pelota no registró nada así que el cambio de dirección fue obra y gracia del espíritu santo.
Dos jugadas en el mismo mundial, con la misma pelota y el mismo fuckin’ sensor. En una, la máquina vio algo que ningún humano pudo ver, y listo. Hacemos lo que la máquina nos dijo. En la otra, millones de personas vieron algo, pero como la máquina no lo notó nunca pasó.
¿Será que le estamos dando demasiado poder a “la máquina”?
Le damos demasiado poder a “la máquina”
Hasta el momento, nadie sabe realmente si la pelota rozó o no el pelo del jugador croata. Ninguna cámara lo captó con claridad, hasta el mismo Matanovic dice que no sabe si realmente existió el roce. En el caso de Noruega, hay imágenes que muestran a la pelota cambiar de rumbo, pero el árbitro nunca se molestó en verlas porque el sensor no se activó.
“Así es el fútbol”, le he escuchado decir a muchos.
Pero yo más bien diría: “así es el fútbol ahora”.
Lo que no me gusta de estos casos es que le creemos ciegamente al %$&# sensor.
Para ponerlo en otras palabras, si la máquina no lo registra es que “nunca pasó” y si la máquina registró algo no hay lugar a la más mínima duda o interpretación.
Ahora, imagínate por un momento que esto no es un partido de fútbol sino que estás pidiendo un crédito hipotecario, o que un médico está revisando una tomografía que te tomaron… ¿Estamos eliminando el criterio humano de todas estas cosas?
No estoy diciendo que esté mal confiar en la tecnología, lo que está mal es confiar ciegamente en la tecnología.
Germán… ¿y esto qué tiene que ver con la IA?
¡Buena pregunta! Eso de confiar completa y ciegamente en un aparato, aceptar lo que nos dice sin poder apelar, y que la tecnología esté tan entrelazada con las reglas del juego no pasa sólo en el fútbol. Está pasando con la inteligencia artificial.
¿En qué momento te enteraste de la cantidad de decisiones que maneja el VAR? Si eres como yo, probablemente te hayas enterado mientras veías los partidos (como ese gol anulado a Egipto, donde tuvieron que regresar el video al otro lado de la cancha para revisar la jugada).
Pues eso mismo que nos ha pasado en la copa del mundo puede pasar en tu banco, en tu trabajo, en tu clínica, en la universidad… y no esperes que te envíen un comunicado contándote toda la data que usan y cómo toman decisiones que te afectan directamente con ella.
¿Quién se encarga de verificar que las herramientas que están usando funcionan? Y si algo falla, ¿quién responde?, ¿y a quién le reclamas cuando “el sistema” te dice que no?
Parece que todo esto necesita reglas, ¿no?
Y estas reglas tienen un nombre: gobernanza.
Gober… ¿qué?
¡nanza! Gobernanza.
Son las reglas, procesos y roles dentro de una organización que aseguran que la tecnología se use de acuerdo con sus objetivos, valores y obligaciones.
Y hay cuatro cosas que tener en cuenta:
¿Quién decide?
Alguien está a cargo de aprobar qué sistemas se usan, quién es dueño de los datos, quién aprueba que se use una u otra herramienta. También es el que responde si algo sale mal.¿Cuáles son las reglas?
Las reglas pueden ser políticas internas de la organización, estándares de la industria y hasta regulación externa (como las leyes de protección de datos personales). Estas reglas deben ser hiper-claras y estar definidas desde el principio.¿Cómo se controla?
Hay que revisar continuamente que estas reglas se estén cumpliendo y que las herramientas estén funcionando como deberían. Para esto se hacen auditorías, análisis de datos, gestión de riesgos yun montón decomités que revisan cualquier caso.¿Cómo se rinde cuentas?
Cuando algo falla, debe haber transparencia y explicaciones, sobre todo una forma de reclamar.
Y una cosa más, si esto no está definido puede pasar que la gobernanza por default sea creerle a la máquina. ¿Cuántas veces hemos escuchado una versión de:
“lo siento, así aparece en el sistema”?
Y esto es sólo gobernanza para la tecnología estándar (como los benditos chips de la pelota). Cuando hablamos de IA hay que agregarle algunas cosas…
Cuando la IA entra a la cancha
Disculpa, no pude resistirme a la metáfora futbolera. Ahora sí, sigamos.
Déjame empezar por decirte que la IA generativa es una tecnología completamente diferente a lo que estamos acostumbrados. Ni siquiera la gente que desarrolla esta tecnología puede explicar al 100% por qué responde como responde en un caso específico.
Además, tranquilamente puede dar respuestas distintas a la misma pregunta (me ha pasado). Y como si esto fuera poco, de todas formas hay sesgos en sus datos de entrenamiento. ¿O alguien va a salir a decirme que revisaron esos trillones de texto a mano? Y ni hablar de sus alucinaciones.
Y aquí arranca el problema, porque las preguntas de gobernanza se vuelven mucho más difíciles de responder. ¿Qué reglas le damos a una herramienta que no podemos saber a ciencia cierta cómo funciona? Al chip de la pelota, le podemos hacer una auditoría, saber si realmente estaba funcionando bien y cerrar el tema, con la IA no se puede hacer lo mismo.
Para empezar, aquí hay 5 preguntas que nos podemos hacer:
¿Alguien puede explicar esto?
La IA puede tomar decisiones, y como hemos visto, es posible que hayan casos donde no podamos explicar al 100% las decisiones que toman. Es buena idea que quede un registro sobre cómo hizo la IA para llegar a una decisión, y que haya al menos un humano con la autoridad de revisar y contradecir al sistema de ser necesario.¿Funciona igual para todos?
Como te decía, la IA ha sido entrenada con millones y millones de textos y la realidad es que no tenemos la capacidad de revisarlos uno por uno, y aunque las compañías hacen su mejor esfuerzo, es seguro que muchos sesgos hayan pasado de los textos de entrenamiento al modelo, como esa vez que Amazon entrenó un modelo para reclutamiento que te penalizaba si eras mujer.
Así que es una buena práctica hacer pruebas con distintos grupos de personas y repetir la prueba cada cierto tiempo (no vayas a usar a otra IA para hacer estas pruebas, usa personas de carne y hueso).¿Lo que funcionaba ayer sigue funcionando hoy?
Sabes que la IA no da siempre exactamente la misma respuesta ni se comporta exactamente de la misma forma así que aquí no hay eso de “lo probé una vez y funciona”. Estos sistemas necesitan estar monitoreados todo el tiempo.¿Sabemos realmente qué información les estamos dando (y a quién)?
¿Qué pasa con los datos sensibles de la compañía que alguien copia y pega en un asistente para hacer un informe más rápido? Ahora imagina que no se trata del asistente que le dio la empresa sino de su asistente personal. Las compañías necesitan una política de uso de IA, pero algo que pueda transmitirse rápidamente. Una cara, no un documento de 49 páginas que nunca nadie va a terminar de leer.¿Si la IA hace algo que no debe… quién es el responsable?
Esta tecnología ya no sólo está en el chat, hoy tenemos agentes que mandan mails, responden mensajes en Slack, aprueban solicitudes o ejecutan tareas. Lo ideal es definir un responsable de ese sistema (también es buena idea saber cuáles son los riesgos de usarlo). Así sabrás a quién echarle la culpa si “de pura casualidad” tu asistente le manda un mensaje de madrugada a tu ex.
La inteligencia artificial no es ni buena ni mala (con excepción de Skynet, el Agente Smith, Ultron y unos 55 más), la idea es no usarla con los ojos cerrados.
Lo siento, así aparece en el sistema
Imagina que pides un crédito para comprarte un depa. Tienes un buen trabajo (o al menos eso crees), pagas todas tus cuentas a tiempo y comes todos tus vegetales. Unos días después llega la respuesta: denegado.
Vas al banco para preguntar qué fue lo que pasó y la persona que te atiende sonríe amablemente, mira su pantalla, hace una pausa, te vuelve a mirar y responde…
Lo siento, así aparece en el sistema
Claramente estarías molestísimo al recibir esta respuesta, pero la realidad es que probablemente el pobre empleado del banco no sepa por qué rechazaron tu crédito.
Hoy cada vez más sistemas de IA evalúan créditos, filtran CVs, manejan reclamos, analizan diagnósticos médicos y quién sabe cuántas cosas más. Ahora piensa en cómo será esa figura en 5 años.
Si no nos tomamos esto en serio podríamos terminar perdiendo el control sobre muchas cosas, así que tengo una recomendación para ti de cara a ese futuro:
Aprende cómo funciona esta tecnología
Y eso, pero antes de irme…
Una última cosa
Quiero aprovechar el final de este post para felicitar públicamente a una selección que ha tenido una de las actuaciones más destacadas que he visto en muchos años. Por supuesto estoy hablando de la gran selección de Cabo Verde. Un saludo especial para su portero, Vozinha, que le ha atajado todo a todos (con o sin VAR).
Confieso que en algún momento empecé a buscar pasajes Lima-Praia, pero me desanimé cuando vi que el pasaje más barato costaba 7 mil dólares!!! 😱
Nada, solamente quería agregar eso.
Sigue viendo el mundial que ya quedan pocos partidos.
Abrazo,
G
P.D. aprovecho el tema para quejarme de las pausas de hidratación. Claramente se trata de una forma de hacer plata con publicidad.