Tu agente de IA pasa el examen igual que mis amigos pasaban el GMAT.
Antes de la maestría tomé una clase muestra de un curso de preparación para el examen de admisión. No me inscribí, pero varios amigos sí. Fueron aceptados en universidades de primer nivel. Lo que me compartieron después fue lo mismo que vi en esa clase: el curso no enseñaba a entender las preguntas. Enseñaba trucos para descartar opciones rápidamente. Adivinar con método.
Si la opción sonaba demasiado absoluta, descártala. Si tenía “siempre” o “nunca,” probablemente era falsa. Y la regla de oro: nunca pierdas más de un minuto por pregunta. El objetivo no era entender cada problema. Era optimizar el puntaje general.
Mis amigos sacaron buenos scores y entraron a donde querían. Yo fui por el camino tradicional. Pero saber descartar opciones no es lo mismo que saber resolver el problema. Eso se nota en el primer semestre.
Esta semana investigadores publicaron el benchmark MADQA: 2,250 preguntas sobre 800 documentos reales, diseñado para medir si los agentes de IA razonan estratégicamente o buscan a la fuerza bruta. El resultado: los mejores agentes igualan la precisión de un humano, pero hay una brecha de casi 20% contra el rendimiento óptimo que no logran cerrar. Hacen exactamente lo que hacían esos cursos: prueban y descartan hasta que algo encaja, sin entender qué están buscando ni por qué. Y cuando no encuentran la respuesta rápido, no cambian de estrategia. Se quedan en loops repitiendo variaciones de la misma búsqueda.
El problema para quien despliega agentes en producción es que la métrica de accuracy no te dice nada de esto. Un agente puede sacar 90% en un benchmark y ser inútil en tu flujo de trabajo, porque llega a la respuesta por un camino que en el mundo real no existe. En el examen, adivinar funciona. En tu CRM, en tu análisis de riesgo, adivinar se rompe.
El estudio mide agentes en tareas de búsqueda y razonamiento sobre documentos, no en todos los usos de IA. No es una sentencia general. Pero sí es una señal de que no basta con preguntar “¿acertó?” Hay que preguntar “¿cómo llegó a esa respuesta?”
En el mundo técnico esto se llama “chain of thought”: la cadena de razonamiento que sigue un agente para llegar a una respuesta. Lo que este estudio demuestra es que muchos agentes no tienen cadena. Tienen intentos. Y si tu agente no puede mostrarte el camino que siguió, no puedes confiar en que acierte cuando la pregunta cambie.
La próxima vez que un proveedor te muestre el accuracy de su agente, pregúntale cómo lo midió. No el número. El cómo.
🔗 arxiv.org/abs/2603.12180
#LaPiezaPendiente #TheTranslationGap #IAparaLíderes