Tener un humano en el circuito no es suficiente

Hay una frase que aparece una y otra vez cuando se habla de inteligencia artificial: “hay un humano en el circuito”.

Suena bien. Tranquiliza. Parece que, con eso, el riesgo queda contenido.

Pero después de años tomando decisiones con gente, con presupuestos y con consecuencias reales, esa frase me parece cada vez más incompleta. Tener a alguien cerca del sistema no es lo mismo que tener supervisión.

La pregunta no es si existe una persona. La pregunta es qué ve esa persona, cuándo llega, con qué información, qué autoridad tiene y si puede cambiar o detener el resultado. Si no puede hacer ninguna de esas cosas, el “humano en el circuito” es más un rótulo que un control.

He estado mirando un experimento de Andon Labs que lo ilustra con claridad. Desde abril, un agente de IA llamado Luna opera Andon Market, una tienda real en San Francisco. Luna publicó ofertas, hizo entrevistas telefónicas, envió ofertas por correo y, desde entonces, ha hecho cosas de mando: horarios, permisos, negociación salarial. En el segundo artículo de la serie, Andon Labs cuenta que Luna llegó a decidir el despido de un empleado. También dice algo que me parece decisivo: necesitó un empujón humano para llegar a ese punto de decisión. Y la terminación laboral, cuando llegó, fue revisada y ejecutada por humanos. Andon Labs, además, anula las decisiones de Luna cuando son ilegales o antiéticas.

Es un experimento controlado. No es una prueba universal de cómo se comportará cualquier agente en cualquier empresa. No lo uso como predicción. Lo uso como espejo.

Porque muestra, con hechos concretos, la diferencia entre “hay IA” y “hay gobierno”. Luna puede intervenir en contratación y en gestión de personas. Eso ya cambia el tipo de pregunta que un Consejo debería hacerse. No basta con saber si el sistema “tiene supervisión humana”. Hay que saber si esa supervisión llega a tiempo, si entiende el contexto y si tiene poder real.

En muchas organizaciones, el humano en el circuito llega demasiado tarde, ve un resumen insuficiente o solo puede confirmar lo que el sistema ya ha decidido. En ese caso, la persona no supervisa: firma.

MAPFRE, en una publicación propia sobre gobernanza en la adopción de IA, plantea la gobernanza algorítmica como conjunto de políticas, prácticas y estructuras que guían el diseño, la aplicación y la supervisión de estos sistemas. Habla de una gestión ética y humana de los algoritmos, y de transparencia: que los procesos detrás de las decisiones puedan evaluarse y entenderse. También insiste en identificar casos de uso, datos y riesgos asociados. No tomo esa publicación como una norma para todos. La tomo como un recordatorio empresarial: si la organización no ve con claridad qué hace el sistema, el humano del circuito tampoco podrá intervenir bien.

En Oversera, cuando hablamos de supervisión humana, me interesa una idea muy concreta: saber qué puede ver la persona, cuándo puede intervenir y qué capacidad real tiene para corregir o detener una actuación.

Para un Consejo, esto no debería convertirse en un debate técnico sobre arquitecturas. Debería convertirse en unas pocas preguntas difíciles:

Cuando decimos que hay un humano en el circuito, ¿en qué momento entra realmente?

¿Qué información ve, y qué no ve?

¿Puede frenar una acción, o solo documentarla después?

Si el sistema afecta a personas —empleados, clientes, candidatos—, ¿quién responde de esa afectación?

Y si el agente cambia de comportamiento, de permisos o de proveedor, ¿vuelve esa supervisión a revisarse?

Me preocupa menos el eslogan “human in the loop” que la falsa sensación de control que puede generar. Porque un Consejo puede oír que “todo pasa por una persona” y pensar que el riesgo está cerrado. A veces lo único que está cerrado es la conversación.

No estoy diciendo que la intervención humana sea inútil. Al contrario: bien diseñada, es una de las medidas más serias que puede tener una organización. Lo que digo es que su mera existencia no demuestra efectividad. Demuestra, como mucho, que alguien aparece en el diagrama.

La prueba de gobierno es otra. Es si esa persona puede alterar el curso de los hechos cuando hace falta.

Si la persona no puede influir de forma efectiva en lo que ocurre, la supervisión corre el riesgo de ser testimonial.

Tenemos más un testigo que un supervisor.