A la antigüita

Mi coche pasó más de ocho meses en el taller por un aviso en el tablero: falla en el sistema de asistencia de cambio de carril, el que te echa un ojo cuando te mueves de un carril a otro. Se encendió el testigo (así le dicen los mecánicos a esa luz que no se apaga sola) y ahí empezó todo.

A partir de ese código de error, el taller fue cambiando piezas. La pantalla que proyecta la velocidad en el parabrisas. Los cuatro radares del sistema de asistencia, uno por uno. Un puerto USB. La batería. Cuatro veces me devolvieron el coche “ya arreglado”, y las cuatro veces el testigo estaba de vuelta antes de que pasaran quince minutos.

Di varias vueltas de prueba con Isidoro, el mecánico, de copiloto; algunas de más de media hora, y acabamos hablando de autos más de lo que hablo con muchos de mis amigos. Isidoro no era el villano de esta historia, al contrario: seguía el manual y el código de error al pie de la letra, y cambiar piezas hasta que el aviso se apague es un método legítimo de diagnóstico. Solo que es el más caro que existe: en mi caso, más de doscientos mil pesos en reparaciones, todas absorbidas por la marca en garantía. Tengo los recibos.

En esos mismos meses yo trabajaba a diario con la tecnología que volvió gratis la segunda opinión: hoy cualquier documento, número o decisión puede tener otra opinión en diez segundos. Mi coche juntaba opiniones nuevas y ninguna servía. Tardé ocho meses en entender que las dos cosas eran el mismo problema. De eso viene la pieza de esta semana.

El eco con firma distinta

el eco el mismo contraargumento pesa más cuando el modelo cree que es suyo, y el mismo error se corrige cuando parece ajeno →

Durante ocho meses, cada diagnóstico nuevo llegó con el anterior encima: partía del mismo código de error y de todo lo que ya se había intentado. Cada opinión nueva nacía leyendo la anterior, y una opinión que nace así trae eco de fábrica.

Con los modelos de IA esto ya está medido. Un estudio de junio, todavía sin revisión de pares, sometió a siete de los modelos más avanzados a una prueba simple: contestan una pregunta de examen, reciben un contraargumento coherente que defiende la respuesta equivocada, y se mide si cambian. Sobre más de dos mil preguntas de examen, cada modelo cede a su propio ritmo: hay quien cambia de respuesta una de cada seis veces y quien cambia casi siempre (el rango va de 17.5% a 97.3%). El hallazgo fino es de quién viene el empujón: cuando el contraargumento se presenta como si saliera del razonamiento previo del propio modelo, la tasa de cambio sube 7.1 puntos porcentuales en promedio. La opinión propia reciclada ablanda más que la ajena.

Otro estudio, ya aceptado en una conferencia del área, hizo la prueba espejo: inyectó exactamente el mismo error dos veces, cambiando una sola cosa, a quién se le atribuye. Si el error aparece como del usuario, el modelo lo corrige; si aparece como suyo, lo deja pasar. En catorce modelos abiertos de los que no razonan antes de contestar, el punto ciego fue de 64.5% (los entrenados para razonar sí aprenden a corregirse mejor). La capacidad de ver el error estaba; lo que faltaba era moverlo de lugar.

La práctica que se desprende cuesta cero. Cuando le pidas a un modelo revisar un texto, pídeselo en una sesión nueva, sin el historial, y sin decirle que el texto es suyo. Hay una primera señal medida de esto, todavía preliminar (un solo autor sin revisión de pares, un solo modelo, treinta documentos en otro idioma, y ni así se encontraron todos los errores sembrados): la revisión en sesión limpia encontró más que la revisión en la conversación donde se escribió el texto. Y el detalle que más se parece a mi taller: el revisor que veía el expediente completo encontró menos que el que llegaba sin saber nada. Ver el historial entero no ayudó a encontrar el error; ayudó a heredarlo.

La misma pieza cuatro veces

el acuerdo cuando dos modelos se equivocan tienden a coincidir en la misma respuesta equivocada, y entre más capaces son, más se parecen sus errores →

En el taller cambiaron los cuatro radares uno por uno, leyendo cada vez el mismo código y creyendo que la respuesta era la misma. Visto de lejos parece insistencia; visto de cerca es una sola opinión cobrada cuatro veces. Y pedirle la misma opinión a dos fuentes del mismo tipo tampoco la convierte en dos.

Un equipo midió algo que casi nadie mide: no si los modelos aciertan, sino si se equivocan en lo mismo. El estudio, publicado con revisión de pares en una de las conferencias más exigentes del área, analizó entre otras cosas 71 modelos de un tablero de evaluación de Stanford sobre 14,042 preguntas de examen. Cuando dos modelos fallan, coinciden en la misma respuesta equivocada cerca del 60% de las veces. Y lo contraintuitivo es la dirección: la correlación sube con la capacidad. Los modelos más grandes y más certeros se equivocan más parecido entre sí, aunque vengan de empresas y arquitecturas distintas. Mejorar no los vuelve más diversos; los vuelve más parecidos.

Para un lunes cualquiera esto se traduce fácil: preguntarle lo mismo a dos modelos y recibir la misma respuesta, más que una confirmación, es la misma opinión dos veces, con probabilidad alta y medida. La IA no inventó el método de cambiar piezas hasta atinarle; lo que hizo fue volverlo instantáneo. Y hay una trampa final que conocí de cerca: los meses invertidos empiezan a sentirse como evidencia. Ocho meses de taller no hacían más probable el diagnóstico del taller; solo hacían más caro admitirlo.

El gemelo de línea

los soportes la solución llegó al salir del sistema y cambiar la clase de evidencia, y el estudio detrás del titular más repetido sobre segundas opiniones dice lo mismo: la buena segunda opinión afina más de lo que tumba →

El caso se resolvió cuando alguien salió del sistema. La marca se involucró: su corporativo dio seguimiento y conectó con la fábrica en Estados Unidos. La comparación que destrabó todo no pasó por el código: pusieron mi coche junto a otro del mismo modelo, directo de línea, y los compararon a la vista. Ahí estaba. Los soportes de los radares en la fascia trasera (la pieza de carrocería que casi todos llamamos defensa) estaban desajustados. Los sensores, ya nuevos, funcionaban; apuntaban a donde no era. La reparación fue a la antigüita. En mi visita al taller, una de las personas me dijo que habían tenido que hacerle un “impacto estratégico”, o un término así de técnico para describir el golpe que lo enderezó. Como los que le dábamos a la televisión CRT, la de tubo, cuando se magnetizaba (para los de mi rodada). Y el testigo se apagó.

La opinión que ganó no destacaba por precio ni por seguridad. Ganó porque era la única que podía contar la cadena completa: unos soportes movidos que desalinean los radares que encienden el testigo. Las anteriores recetaban la siguiente pieza; esta explicaba el mecanismo. Así se juzga una segunda opinión, venga de un taller o de una máquina: por el mecanismo que logra explicar, no por el precio ni por la seguridad con que se pronuncia. El libro le tiene puesto nombre a esa maniobra, alternar: pedir el mismo trabajo por dos caminos distintos. Durante ocho meses mi coche tuvo muchas opiniones y un solo camino.

El estudio detrás del titular más repetido sobre segundas opiniones médicas apunta en la misma dirección, si uno lo lee en la fuente y no en el titular. En Mayo Clinic compararon el diagnóstico de llegada contra el diagnóstico final de 286 pacientes referidos por otros médicos, los casos que llegan ahí justamente porque nadie los ha podido cerrar. En 12% de los casos el diagnóstico de entrada coincidió con el final. En 66% quedó refinado o mejor definido. En 21% resultó claramente distinto. La prensa suma los dos últimos y titula que casi nueve de cada diez pacientes salen con otro diagnóstico; el corte fino dice algo más útil: tres de cada cuatro veces que la segunda opinión aportó algo, no tumbó el diagnóstico anterior sino que lo precisó.

El testigo de mi coche tuvo razón los ocho meses: la señal era buena, la interpretación no. Y el dato que la prensa nunca repite es el del costo: los casos que terminaron en un diagnóstico distinto costaron significativamente más que los confirmados y que los refinados (el estudio publica la comparación, no los montos). La segunda opinión que tumba el diagnóstico rara vez sale barata. Y no hay contradicción con el taller: el precio no sirve de criterio en ninguna dirección, porque lo que cuesta es producir la evidencia de otra clase, no la opinión que se le monta encima. Poner un coche sano junto al mío fue lo que nadie había hecho en ocho meses; también fue lo único que funcionó.

Queda una condición final, y es de criterio: la segunda opinión funciona mejor cuando se pide que cuando se impone. Tres experimentos preregistrados con 1,280 personas encontraron que servirla de oficio, junto a cada respuesta de la máquina, movió la confianza en las dos direcciones y dejó la precisión igual; cuando la persona decidía si pedirla y cuándo, la corrección sí llegó a servir. Multiplicar opiniones sin criterio, más que rigor, es ruido más caro. El punto nunca fue juntar más opiniones sino saber juzgar dos.

El testigo callado

el lunes

El coche está de vuelta en la calle y el testigo lleva callado desde entonces (hasta ahora; ocho meses te quitan lo confiado).

Ahora me fijo en dónde está el gemelo de línea fuera del taller, porque en una organización tiene nombres concretos: la sucursal donde el proceso sí funciona, el reporte rehecho desde los datos crudos por alguien que nunca vio el expediente, la visita para ver el proceso en vivo en lugar de la junta que lo resume. Y cuando el gemelo no alcanza, queda la otra ruta de mi taller: preguntarse quién es tu fábrica, la instancia fuera del sistema que puede ordenar la comparación.

La pregunta para el lunes es la del taller: ¿qué testigo lleva meses regresando en tu organización apenas se lo entregan “ya arreglado”, y qué pieza cara están a punto de autorizar en lugar de ir a mirar los soportes? Antes de firmarla, vale una pregunta más: ¿ya compararon contra su modelo directo de línea?

Ocho meses de piezas nuevas, y lo que resolvió el caso fue pararse junto al coche sano y mirar. Las opiniones nunca faltaron. Faltó evidencia de otra clase.

Esa fue la pieza de esta semana.

---

— JP