Examen con acordeón

El sábado vi a un salón entero presentar un examen con acordeón (o machete, torpedo o chuleta, según el país donde hayas estudiado), y con permiso del maestro. Un banco dedicó el sábado de su convención de reconocimiento a la inteligencia artificial, me invitó a dar dos pláticas, una en la mañana y otra en la tarde, y entre las dos el banco tenía organizado un concurso por equipos, contra reloj, en el que cada prueba se resolvía con la IA en la mano. Nadie tenía que esconder nada.

Me acordé del examen del CENEVAL que presenté para titularme. Te permitían llevar libros, que es mejor que cualquier acordeón, y yo llegué con un carrito con catorce. Usé dos, y casi siempre para corroborar una respuesta que ya traía. Ese día entendí algo que el sábado volví a ver: cuando el acordeón está permitido, lo difícil del examen se muda a otro lado.

En el concurso, lo difícil se mudó a la pregunta. La regla era que nadie podía usar la cámara, y una de las pruebas era un mapa sin nombres y sin leyenda, con cuatro países para escoger. Con una foto, el asistente lo habría reconocido solo, por la forma o por la región. Sin foto, alguien del equipo tenía que describirle el mapa con palabras, por dónde entraba la costa, qué forma hacía la frontera, y para describirlo bien había que saber ya algo de geografía. Me acuerdo de los minutos que le tomó a cada equipo dictar la pregunta.

Y lo difícil se mudó también a saber cuándo no creerle. Yo lo veía desde un lado, y en varias pruebas la sala llegaba antes que la herramienta, porque alguien ya sabía la respuesta; en la del mapa yo veía la pantalla y la respuesta que iba saliendo, y pensaba “me late que ese no es”. Al final de cada prueba, como en todo examen, alguien calificaba, y se los dije en la tarde: en el trabajo esa parte no siempre viene. De eso va esta pieza: en qué preguntas sí sirve el acordeón, cuándo te sopla mal, y qué se califica ahora que todos lo traen.

Dónde sí aprieta

las preguntas que sí y por qué al experto le sube menos la calificación →

La semana pasada cerré con el que mucho abarca, poco aprieta, y este fin de semana, en el hotel de la convención, que era de todo incluido, me pasó lo de siempre: de todas las actividades disponibles, terminé en la que estaba más a la mano. Así que me puse a buscar dónde sí aprieta la IA, con mediciones y no con encuestas, y encontré que en el Banco Central de Irlanda le dieron un asistente a unos 140 empleados y midieron cómo les iba con los informes largos de las aseguradoras que supervisan: para extraer información de esos documentos, la calidad subió 17% y el tiempo bajó 34%. Encontré también que en 66 empresas le dieron durante seis meses un asistente en el correo a la mitad de más de 7,000 personas, escogidas al azar, y quienes lo usaron le dedicaron dos horas menos a la semana a la bandeja, que a ese ritmo son cerca de cien horas al año, en un estudio que firman cuatro investigadores, tres de ellos de Microsoft, sobre su propia herramienta y que, aun así, reporta que las juntas siguieron igual.

En atención a clientes, más de 5,000 agentes con un asistente resolvieron 15% más problemas por hora, y los nuevos cerca de 30% más; en una consultora, casi 800 consultores hicieron 12% más tareas, 25% más rápido y con mejor calidad, mientras la tarea cayera dentro de lo que la IA ya hace bien. Lo que las cuatro tienen en común es que la pregunta ya venía bien hecha, leer este informe, contestar este correo, resolver este caso, y que la respuesta se podía revisar antes de entregarla. Son las preguntas donde el acordeón ya trae la página marcada.

Y donde esas mediciones separan por experiencia, al que más le sube la calificación es al nuevo; al experto le ayuda poco. En un salón lleno de gente reconocida por sus resultados eso podría sonar a mala noticia, y yo lo leo al revés: el acordeón le da a todos la misma hoja, y la diferencia se queda en quién sabe en qué renglón buscar.

Cuando el acordeón te sopla mal

cuando sopla mal y qué pasa cuando el acordeón no es tuyo y además trae tu tarjeta →

El mismo banco central irlandés encontró la otra cara en el mismo escritorio. Cuando sus empleados le pedían a una aplicación que sacara una cifra exacta de una tabla de datos, con la pregunta escrita como se le hace a una persona, la calidad bajó 12% y no ahorraron tiempo. Y en la consultora, cuando la tarea caía del otro lado de la frontera impredecible, como le llamo a la línea entre lo que la IA hace bien y lo que no, los que usaron IA tuvieron 19% menos probabilidad de dar con la respuesta correcta. Leer un informe y sacar una cifra exacta de las tablas que acompañan a esos informes quedaron en lados distintos de esa línea, en el mismo escritorio, y nadie en la oficina la ve hasta que la pisa.

No la ven porque el acordeón sopla igual de seguro de los dos lados. En el concurso eso no importaba, porque al final de cada prueba alguien calificaba; en la oficina la calificación llega tarde, cuando el cliente ya recibió la carta, o no llega. Por eso en la mañana les dejé dos preguntas para antes de soltarle una tarea a la máquina: ¿qué tan caro es que salga mal?, ¿qué tan fácil es verificar que salió bien?

La segunda es la que el experto contesta mejor, y es la del mapa: antes de creerle al acordeón, tener una idea de por dónde cae ese país, y que te lata cuando algo no cuadra. Así usé los dos libros que abrí en el CENEVAL, no para que me dieran la respuesta sino para corroborar la que ya traía.

El acordeón trae la fórmula. Saber cuál fórmula va, y si el resultado tiene sentido, lo traes tú. Por eso no sirve cuando te pasan un acordeón que no es tuyo: el que lo escribió sabe dónde está cada cosa y para qué pregunta va, y el que lo recibe nada más copia.

El acordeón más ajeno de la semana se llama Instinct, y todos los medios hablan de él: un asistente al que le escribes o le llamas y que, con tus cuentas y tu tarjeta, reserva, compra, paga y hace llamadas por ti. Levantó 1,000 millones de dólares con una valuación de 10,000 millones, un mes después de su ronda anterior y a semanas de abrir su beta por invitación, y la empresa todavía no dice cuántas personas lo usan. Es el acordeón que ni siquiera te deja copiar, porque entrega la respuesta él mismo. Pásalo por las dos preguntas: que te reserve la mesa es barato si sale mal y fácil de revisar; que pague con tu tarjeta ya no, y lo que yo me preguntaría antes de dársela es si me daría cuenta de que pagó dos veces.

Es y no es

quién estudió y por qué la pyme ya trae el mismo acordeón que el banco →

Siguiendo el lanzamiento del libro, el viernes me invitó Rodrigo Pacheco a su programa de radio en Grupo Imagen, y después de la entrevista varios empresarios se sumaron a la conversación en LinkedIn, y varios más a este correo. Con uno de ellos me escribí brevemente: yo le dije que las pymes son el motor de la economía y me contestó de madrugada con cuatro palabras: “Es y no es”. En muchas pymes, me explicó, todavía faltan el liderazgo y otras herramientas, y ni se diga el área de sistemas.

Me regresé al mapa del concurso. Los equipos podían usar un comodín, un as bajo la manga, cuando se atoraban, y en esa prueba un equipo pidió a alguien bueno en geografía y llamaron al director general, que la sabía por sus años de trabajo con otros países, y se metió a jugar con otros directores. Ese comodín es lo que el empresario me estaba describiendo por su ausencia: en muchas pymes el director es también el de ventas, el de compras y el de sistemas, y cuando el equipo se atora no hay a quién llamar, porque ya está en la mesa.

Y aun así, el acordeón ya es el mismo para los dos. Como yo lo veo, lo que el banco compra y lo que una pyme abre en el teléfono se parecen cada vez más, y un lector que arma negocios de tecnología en la región me lo dijo en un comentario de la semana pasada: primero entender tu negocio, el de tu cliente y el de los clientes de tu cliente, y hasta después preguntarle a la IA qué herramienta conviene. Cerró con una frase que copio tal cual: “Buscate al advisor tech, pero volvete experto en el negocio.” Ese examen una pyme lo puede pasar bien, porque el dueño conoce a su cliente como pocos; lo que le falta es el sábado, un día entero para sentarse con su equipo a practicar, como el que el banco se regaló, y a veces el comodín.

Examen con acordeón

el lunes

En la tarde les pedí a los del banco que dejaran de esconder tan bien su uso. Es frecuente que un ejecutivo se me acerque a presumirme cómo naturalizó un texto para que no suene a inteligencia artificial, y en cierta medida lo entiendo, porque yo también lo hago: los guiones largos, esas rayas que la máquina mete entre frases, los desprecio aunque sean útiles. Pero nadie se esconde para usar el corrector del teléfono, y con la IA todavía hay quien la usa debajo de la manga cuando el maestro ya dijo que se vale. El examen cambió. Ya nadie te revisa las mangas, y lo que te califican es la pregunta que dictas cuando no hay foto, el ojo que cacha la respuesta que no cuadra, y a quién puedes llamar cuando no te sale. Nada de eso viene en el acordeón, y todo eso lo traía ya el salón entero el sábado, gente reconocida por sus resultados, y lo trae de sobra el dueño de una pyme, que lleva años presentando sin acordeón.

Espero que esta lectura termine en una conversación en tu sala de juntas esta misma semana: quince minutos con tu equipo para que cada quien diga en qué preguntas ya presenta con acordeón, en cuál le sopló mal y quién se dio cuenta, y quién es el comodín al que llaman cuando no cuadra. La pregunta para el lunes es simple: de lo que tu equipo ya resuelve con IA, ¿quién es el que dice “me late que no”? Si ya tienes esa conversación, cuéntame en qué pregunta les falló; y si en tu empresa la IA todavía no entra al salón, escríbeme qué falta, que de un mensaje así salió la mitad de esta pieza.

Esa fue la pieza de esta semana.

---

— JP

P.D. Si te perdiste la entrevista con Rodrigo Pacheco, aquí está. Y a quienes llegaron esta semana por ella, bienvenidos: La Pieza sale cada martes, una sola idea por semana, y se contesta respondiendo a este correo.