La alucinación es un problema de gobernanza, no solo del modelo

Toda discusión sobre la alucinación acaba llegando a la misma esperanza: el próximo modelo será mejor. Las tasas de confabulación bajan con cada generación, los benchmarks mejoran, y es tentador tratar el asunto entero como un defecto temporal que la escala acabará limando. En trabajo de bajo riesgo, esa esperanza es incluso razonable. Si un modelo se inventa un detalle en una sesión de lluvia de ideas, lo notas y sigues.

Solo que, en trabajo de alta consecuencia, el enfoque está equivocado, y seguir con él es peligroso. Un modelo probabilístico no "se avería" cuando confabula. Está haciendo exactamente aquello para lo que se construyó: producir la continuación más plausible, sea o no cierta. Plausibilidad y verdad están correlacionadas, no son idénticas, y la distancia entre ellas no se cierra a cero en ningún tamaño de modelo que hoy podamos ver. Así que un sistema que decide sobre un préstamo, marca una transacción o valida un expediente de cumplimiento no se vuelve seguro esperando a un modelo mejor. El error residual no es un defecto a una versión de distancia. Es una propiedad que tienes que gobernar.

Este es el giro que importa. La pregunta deja de ser "¿cómo conseguimos un modelo que nunca se invente cosas?" y pasa a ser "¿cómo operamos un sistema probabilístico dentro de un proceso donde estar confiadamente equivocado no puede llegar a una consecuencia sin comprobar?". Esa es una pregunta de gobernanza, y tiene respuestas reales.

Fundamentación: responder desde el registro, y citarlo

El primer control ataca directamente el fallo más común. A un modelo al que se le pide que responda desde sus propios pesos le da por rellenar huecos con invención plausible. Un modelo obligado a responder solo desde un registro aportado y recuperado, y a citar la fuente concreta de cada afirmación, tiene mucho menos margen para confabular, porque cada aserción tiene que apuntar a algo real.

La fundamentación hace dos cosas a la vez. Reduce la tasa de invención, porque el modelo está generando sobre evidencia recuperada y no sobre su propia memoria. Y, tan importante como eso, hace la salida comprobable. Una afirmación con cita la puede verificar una persona o un segundo sistema en segundos. Una afirmación sin cita es algo que tienes que aceptar por fe, y la fe no es un control. En un proceso crítico, una respuesta sin cita debería tratarse como ninguna respuesta.

Abstención y calibración: el modelo tiene que poder decir "no lo sé"

La alucinación más peligrosa no es la respuesta equivocada. Es la respuesta equivocada entregada con confianza total, porque la confianza es lo que hace que una persona aguas abajo deje de comprobar.

Por eso la calibración importa más que la precisión bruta en trabajo con consecuencia. Un sistema calibrado es aquel cuya confianza expresada sigue a su fiabilidad real: cuando dice que no está seguro, es genuinamente más probable que se equivoque. Con esa señal, puedes hacer lo que un sistema no calibrado no puede. Puedes dejar que el modelo se abstenga. Por debajo de un umbral de confianza, la salida correcta no es una conjetura. Es "no puedo determinar esto con la evidencia disponible", lo que encamina el caso a una persona en lugar de fabricar una falsa certeza.

Un agente que se abstiene bien vale más en un proceso regulado que un agente ligeramente más preciso que nunca admite duda, porque el que se abstiene falla con seguridad y el confiado falla en silencio. Optimizar solo para la precisión, y nunca para la calibración, es cómo los equipos construyen sistemas que aciertan casi siempre y son catastróficos el resto del tiempo.

Evals de concordancia: medir el acuerdo en las decisiones que importan

Las métricas de precisión estándar promedian sobre todo, lo que esconde precisamente los fallos que más necesitas ver. Un sistema puede puntuar bien en conjunto y seguir siendo poco fiable en el pequeño grupo de casos ambiguos y de alta consecuencia donde una decisión equivocada hace daño de verdad.

La evaluación de concordancia apunta a eso directamente. En lugar de preguntar "¿con qué frecuencia acierta el modelo, de media?", pregunta "¿con qué frecuencia coincide el modelo con una referencia de confianza, o con un panel de personas expertas, en las decisiones concretas que pesan?". Mides el acuerdo en los casos difíciles, no en los fáciles, y lo sigues de forma continua en lugar de una sola vez al entrar en producción. Cuando la concordancia en una clase de decisión baja, sea porque el modelo se actualizó o porque la distribución de entradas cambió, te enteras por el eval, no por un incidente. Esta es la medición que te dice si el sistema todavía merece tocar siquiera una decisión dada.

El gate REQUIRE-HUMAN: el agente prepara, la persona decide

La fundamentación, la abstención y la concordancia reducen el error y lo hacen visible. No lo llevan, ni pueden llevarlo, a cero. Así que para las decisiones en las que equivocarse es inaceptable, el último control no es una probabilidad mejor. Es una frontera.

Una arquitectura de agentes madura resuelve las decisiones con consecuencia en uno de unos pocos veredictos explícitos, y el que importa aquí es REQUIRE-HUMAN. Cuando una decisión tiene peso regulatorio o consecuencia irreversible, la política no deja decidir al agente, por muy confiado que esté. El agente hace el trabajo en el que es genuinamente bueno: reúne la evidencia, fundamenta y cita cada hecho relevante, contrasta el caso con la política y monta un paquete completo y revisable. Después para. Una persona toma la decisión de verdad, sobre todo lo que el agente preparó.

Esto no es que el agente fracase en ser autónomo. Es la división del trabajo correcta. El agente comprime horas de recopilación y verificación en segundos y le entrega a una persona una decisión totalmente trabajada y totalmente documentada. La persona aporta la rendición de cuentas que un sistema probabilístico no puede sostener. La eficiencia es real, y el criterio con consecuencia se queda donde la ley y el sentido común lo exigen.

Por qué la ley ya está de acuerdo con esto

Hay una razón por la que esta arquitectura no es meramente prudente. Para una clase amplia de decisiones, es casi un requisito legal.

El artículo 22 del RGPD da a las personas el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado cuando esa decisión produzca efectos jurídicos o les afecte significativamente. Una denegación de crédito, el rechazo de un seguro, el bloqueo por fraude de la cuenta de alguien: son exactamente las decisiones de las que trata el artículo. Una arquitectura que deja que un agente las decida solo no solo arriesga que una decisión confabulada llegue a un cliente. Está del lado equivocado de un derecho que ya existe. El gate REQUIRE-HUMAN no es un detalle opcional de gobernanza puesto por comodidad. Es, para estas decisiones, cómo te mantienes lícito, y el régimen más reciente sobre sistemas de IA de alto riesgo solo afila la misma expectativa de supervisión humana con significado.

Así que el replanteamiento que llevar a tu próxima discusión sobre modelos es este. La mejora que hace seguro a tu agente en trabajo crítico no es un modelo mejor. Es fundamentación que hace comprobables las respuestas, calibración que permite al sistema abstenerse, evals de concordancia que vigilan las decisiones que importan, y un gate humano en las que la ley no deja tomar a una máquina sola. El modelo va a seguir mejorando, y bienvenido sea. Nunca será el control. La gobernanza es el control.

Si quieres ver cuáles de tus decisiones pertenecen tras un gate REQUIRE-HUMAN y cuáles puede preparar un agente con seguridad, reserva una reunión.