Desconfía de lo que más te impresiona

Hace unos días, mientras veía el partido de México contra Corea, un mago se acercó a mi mesa y se puso a hacer trucos con una baraja. No exagero si digo que me dejó con la boca abierta. Tanto, que me quedé con uno de sus naipes, el que trae su teléfono apuntado atrás, por si algún día hago una fiesta. Lo disfruté precisamente porque no vi cómo lo hacía, y porque jamás se me ocurriría apostar algo serio a que la carta viajó sola. Sabía que estaba en un show. Me dio risa la coincidencia, porque esta pieza ya estaba a medio escribir y trata justamente de eso, de magia. Solo que unos días antes yo había estado del otro lado de la mesa, no como el asombrado, sino como el mago.

Ese otro lado fue hace no mucho. Di un taller de varias horas a unos cincuenta y cinco directores y gerentes de una armadora de maquinaria agrícola en el Bajío, con casco puesto y el gafete colgando. Público disparejo a propósito: gente que vive de la tecnología sentada junto a gente que apenas le entra. Para arrancar parejo, monté unas demos de inteligencia artificial pensadas para impresionar. Y vaya que impresionaron. Se hizo el silencio bueno, el de boca abierta, ese que cualquiera que da clases persigue. Por un momento me sentí como aquel mago con su baraja, sacando el conejo del sombrero.

Y a media clase me di cuenta de algo incómodo. Cada demo enseñaba un solo resultado, ya terminado y bonito, sin poner al lado una versión mediocre para comparar. Piénsalo un segundo: si te enseño nada más la respuesta pulida y nunca una mala, no tienes forma de saber si la buena de verdad es buena. Lo único que te queda es el asombro. Y el asombro de la sala no estaba midiendo la calidad de lo que veía, estaba midiendo que nadie tenía con qué juzgarlo. Impresionaba por lo mismo que me impresionó el mago del partido: porque los hilos no se ven. Solo que yo, sin proponérmelo, los había escondido.

Lo que de verdad aterrizó esa tarde no estaba en el guion de mi clase, pero tampoco lo improvisé de cero. El truco del que hablo es el tokenizer, una de esas demostraciones que llevo años mostrando, de las pocas que siguen revelando algo aunque la herramienta lleve años al alcance de todos. En lugar de enseñar otro resultado bonito, abrí una página web, pública y gratuita, que hace algo muy simple: escribes un texto y te enseña, en vivo, cómo lo ve la máquina por dentro. Lo primero que sorprende es que una sola palabra casi nunca es una sola pieza; se parte en varios pedacitos, los famosos tokens, y palabras que tú lees de corrido la máquina las trocea de maneras que no esperarías. Lo segundo es el verdadero golpe: cada uno de esos pedacitos se convierte en un número, un identificador. El modelo no lee “maquinaria”, lee una lista de números, y lo único que hace es apostar cuál número viene después, uno tras otro, como quien adivina la siguiente palabra de una canción que ya se sabe.

Y esos pedacitos no son un tecnicismo cualquiera, son la columna vertebral de toda la economía de la inteligencia artificial, porque cada cosa que estos modelos miden, cobran y facturan se cuenta en tokens. En el instante en que la sala entendió que el truco se arma desde ahí, desde una apuesta sobre el siguiente número, el asombro se desinfló y se convirtió en algo mucho más útil. “Ah, por eso un buen prompt cambia el resultado.” Dejaron de aplaudirle al mago y empezaron a juzgar la máquina. Esa fue la pieza de la tarde, y es la de esta semana.

Porque hay una trampa en cómo reaccionamos a la inteligencia artificial, y esta vez la viví de los dos lados de la mesa. Lo que más te impresiona suele ser, justamente, lo que menos puedes juzgar. El asombro avisa que no estás viendo el motor, no que el motor sea bueno. Con el mago del partido el placer era sano porque yo sabía que había entrado a un teatro: nadie en esa mesa iba a tomar una decisión seria con base en una carta. Lo distinto con la inteligencia artificial es que te deja con la misma boca abierta, pero sin el letrero que diga “esto es una ilusión, no decidas nada con ella todavía”. Ese letrero te lo tienes que colgar tú.

Un buen truco no te deja ver los hilos

lo que el aplauso de verdad mide Un modelo predijo acertar diez de veinte dibujos, acertó menos de uno, y al final se subió la nota a 14.4: la seguridad y el acierto viajan por separado

Hay un estudio de Carnegie Mellon que midió la confianza con que cuatro modelos de inteligencia artificial y un grupo de humanos respondían trivia, predicciones deportivas, quinielas de los Óscar e identificación de dibujos. Al arrancar, ambos igual de seguros de sí mismos y con aciertos parecidos. La diferencia aparece después de fallar: el humano ajusta a la baja, dijo que acertaría dieciocho, acertó quince, y a la siguiente estima dieciséis. El modelo hace lo contrario, se pone más seguro. Uno de ellos predijo identificar diez de veinte dibujos, acertó menos de uno, y al terminar calculó que había acertado 14.40. El modelo no sabe que no supo, y por eso suena más confiado justo cuando deberías desconfiar más. Es el mago que nunca rompe el personaje, que sostiene la sonrisa aunque la carta se le caiga, porque la soltura es parte del acto y no la prueba de que el conejo de verdad estaba en el sombrero. Y cuando esa respuesta además viene envuelta en una explicación clara y fluida, peor todavía: un estudio de este año lo midió, tu confianza sube y te recargas más en ella sin que el acierto suba un solo punto. Te convence cómo lo dice, no lo que dice.

Y no vayas a pensar que esto es cuestión de cuánto sabes de tecnología. La Universidad de Aalto puso a unos quinientos participantes a resolver ejercicios de razonamiento tipo examen de admisión, la mitad con ChatGPT y la mitad sin. Los que usaron inteligencia artificial sí rindieron mejor, pero todos, sin excepción, sobreestimaron cuánto habían acertado. Y aquí está el giro que debería ponerte nervioso: los que peor se calcularon fueron los que se sentían más diestros con la inteligencia artificial. El Dunning-Kruger de cabeza. No es el más ignorante el que se cree experto, es el más confiado en su manejo de la herramienta el que peor distingue cuándo el resultado sirve. Saber mover la varita no es lo mismo que saber si el truco funcionó.

Cómo saber si el conejo estaba en el sombrero

cuando ver el mecanismo cambia lo que ves Una IA escribió 380 papers de finanzas que ni los expertos pudieron distinguir de los reales, y hasta una de las cuatro grandes consultoras tuvo que retirar un reporte por lo mismo

Volvamos al momento del tokenizer, porque ahí está la bisagra. Enseñar cómo se hace el truco no mató el asombro, lo movió al lugar correcto. La sala dejó de preguntarse “cómo es esto posible” y empezó a preguntar “dónde se puede romper esto”. Ese brinco, de espectador a juez, es todo el juego. Y urge darlo, porque un resultado pulido de inteligencia artificial es idéntico a uno riguroso cuando no tienes contra qué compararlo.

Dos profesores de finanzas, Robert Novy-Marx, de la Universidad de Rochester, y Mihail Velikov, de Penn State, lo dejaron clarísimo en un paper que leí hace poco. Usaron un modelo de inteligencia artificial para generar trescientos ochenta papers académicos completos en cerca de doce horas, treinta páginas cada uno, con su resumen, sus datos, sus tablas y sus citas, al estándar de las mejores revistas del campo. Cuando midieron la fuerza estadística de esos papers inventados contra doscientas doce señales financieras publicadas en revistas reales con revisión de pares, las dos distribuciones se traslaparon casi a la perfección. Los papers falsos pasaban frente al ojo de los mismos expertos que los revisan. No porque los expertos sean tontos, sino porque sin poner el falso al lado de uno bueno para comparar, lo pulido y lo riguroso se ven igual.

Y si crees que eso solo pasa en un experimento, mira lo que le ocurrió a KPMG hace unos días. Una de las cuatro consultoras más grandes del planeta tuvo que bajar de sus sitios un reporte titulado, sin ironía, sobre la excelencia en la era de la inteligencia artificial agéntica. Un detector externo encontró que de las cuarenta y cinco citas del documento solo cinco apuntaban limpiamente a una fuente real; el resto venían parafraseadas, con datos inventados o demasiado vagas para verificar, y cerca de la mitad de las afirmaciones parecían fabricadas. UBS, el sistema de salud británico y los ferrocarriles federales suizos le dijeron al Financial Times que lo que el reporte presumía de ellos era falso, incluido un chatbot de Emirates llamado Sara, que cambia tus vuelos y que no existe. La herramienta con que lo investigaron se pasó de cumplida: le pidieron ejemplos de inteligencia artificial usándose por ahí, y los que no encontró, los inventó. Y no fue un caso aislado: a EY y a Deloitte les pasó algo parecido hace poco, con reportes que también salieron con citas inventadas.

No es que KPMG no sepa lo que hace, todo lo contrario. Es de los mejores magos del gremio, y hasta al mejor mago se le ceba el truco de vez en cuando. Lo delicado es que su membrete es justamente lo que te quita las ganas de revisar. Un reporte impresiona por quién lo firma, igual que un truco impresiona por la fama del mago, y a nadie se le ocurre revisarle las cartas al maestro. A nadie, hasta que alguien por fin se las revisó.

Pedirle al mago que te explique es la nueva forma de disfrutar el show

la línea base que se atrofia si solo aplaudes Pedirle a la IA que se explique no te calibra, te apantalla más; lo que de verdad funciona es obligarte a preguntar por qué estaría equivocada

Entonces qué se hace. La respuesta intuitiva está mal, y la investigación es brutal al decirlo: pedirle a la inteligencia artificial que se explique no calibra tu confianza, la infla. La gente toma la sola presencia de una explicación como prueba de competencia, sin leer lo que dice. Una síntesis de mil trescientos treinta y nueve incidentes de inteligencia artificial encontró ciento cuarenta y siete causados por exceso de confianza del usuario, y darle a la gente retroalimentación sobre su calibración, por sí sola, tampoco lo arregló. Pedirle al mago que te “explique” cómo lo hizo es otra forma de disfrutar el show, no de juzgarlo, porque la explicación también es parte del acto.

Lo que sí mueve la aguja es la fricción. Un tope deliberado que te obligue a evaluar antes de aceptar, del tipo “¿por qué podría estar mal esto?” antes del “wow”. Lo que algunos investigadores llaman considerar lo contrario, probado con setecientos setenta y cinco gerentes en evaluaciones de desempeño asistidas por inteligencia artificial. No es más transparencia del modelo, es una línea base por fuera y un freno que te pones tú.

Y aquí está la parte que debería preocuparte más que cualquier reporte falso. La línea base contra la que comparas no te la regalan, y se oxida si dejas de usarla. El estudio que mejor lo muestra salió en The Lancet, y es de los más fuertes que he leído en mucho tiempo. Siguieron a diecinueve endoscopistas expertos, médicos con más de dos mil colonoscopías a cuestas, de esas en las que detectar a tiempo un pólipo puede ser la diferencia entre cortar un cáncer de raíz o no verlo venir. Tras unos meses usando de rutina un asistente de inteligencia artificial, midieron qué tan bien detectaban esos pólipos cuando les quitaban la herramienta. Su tasa cayó de 28.4 a 22.4 por ciento. Un veinte por ciento peor sin la máquina, en una tarea donde ese veinte por ciento son lesiones precancerosas que alguien no va a alcanzar a ver a tiempo. La inteligencia artificial no falló ni una sola vez. Lo que se atrofió fue el ojo del experto, la misma línea base con la que se distingue un buen resultado de uno malo. Y ese es el corazón de todo esto: te recargas en la herramienta que te deslumbra y, al hacerlo, vas perdiendo justo el criterio que necesitabas para juzgarla. Terminas más impresionado y menos capaz de saber si deberías estarlo. Si solo ves magia, poco a poco se te borra la diferencia entre el truco y el oficio.

Que quede claro, porque es fácil leer todo esto como un llamado a la desconfianza, y no lo es. El asombro no es el enemigo, es el mejor combustible que tiene la curiosidad: la misma sala que se quedó muda con el tokenizer fue la que después hizo las preguntas filosas. Y a veces el resultado impresionante de verdad es bueno; el mismo estudio de las explicaciones encontró que en problemas de lógica el modelo sí ayudaba, más que un humano. La disciplina no es desconfiar de todo lo que ves, que es cinismo disfrazado de rigor. Es ser de los que disfrutan la función y al mismo tiempo quieren saber cómo se hizo. De los que, antes de firmar, piden ver el truco.

La pregunta para el lunes

cierre

Lo que viví en ese taller, dejar que el resultado pulido tapara el mecanismo, es de lo más fácil de repetir, y más todavía cuando estás a solas frente a una pantalla, sin una sala que te haga preguntas. El resultado sale tan terminado, tan seguro y con tan buena prosa, que el asombro llega antes que la pregunta. Y cuando el asombro llega primero, decidiste sin haber juzgado.

La pregunta para el lunes es una sola, y es concreta: la próxima vez que un entregable de inteligencia artificial te deje con la boca abierta, un reporte, un análisis, un deck que se ve impecable, antes de reenviarlo o de decidir con él, hazte una pregunta y respóndela en voz alta. ¿Contra qué lo estoy comparando? Si la respuesta es “contra nada, pero se ve buenísimo”, todavía no estás listo para usarlo. Estás listo para abrir la máquina y ver cómo se hizo.

Esa era la pieza de esta semana. El asombro es buen combustible, déjalo encenderte la curiosidad y no apagarte el criterio. Disfruta el show, guárdate el naipe si quieres, pero antes de decidir algo serio, pregunta cómo se hizo.

---

— JP