Evals y el listón de confianza: medir un agente que puedas defender

Todo proyecto serio de agentes llega al mismo momento. La cosa funciona en la demo, alguien del lado del negocio pide dejarla actuar sola, y la sala se calla, porque nadie sabe decir cómo sabrían que es seguro. El instinto es responder con una historia: fue bien en las pruebas, el equipo está confiado, la demo salió limpia. En un contexto regulado, nada de eso sobrevive al contacto con un comité de riesgos.

Solo que hay un mecanismo que responde bien a la pregunta, y es el mismo mecanismo que separa un agente gobernado de uno esperanzado. Los evals son cómo un agente se gana la autonomía, y el listón de confianza es la línea que un eval tiene que superar antes de que se le permita actuar al agente. No una historia sobre confianza. Una medición, repetida, contra un estándar fijado de antemano. Un agente no empieza siendo de confianza. Se vuelve de confianza al aprobar, y sigue siéndolo solo mientras siga aprobando.

El replanteamiento que merece hacerse pronto es que un eval no es una prueba que corres para quedarte tranquilo antes del lanzamiento. Es un instrumento permanente que controla cuánto se le permite hacer al agente, y está conectado directamente con la autonomía que se le concede.

"Lo probamos una vez" no es un eval

Empieza por matar el sustituto más común, porque ahí es donde muere casi toda la gobernanza de agentes fallida.

Una única pasada sobre un conjunto fijo de ejemplos antes de entrar en producción es una prueba. Te dice que el agente funcionó con esas entradas, ese día, contra esa versión del modelo. Un eval es más fuerte en tres cosas, y la diferencia no es pedantería.

Un eval es repetido, no único, porque el sistema que mide cambia bajo tus pies. El modelo puede actualizarse de noche, la distribución de datos se mueve, y un agente que aprobó el mes pasado puede degradarse este mes sin que nadie entregue una línea de código. Una prueba única no puede ver eso; un eval permanente que se vuelve a correr en un calendario y en cada cambio de modelo, sí. Un eval está sujeto a un listón fijado de antemano, no juzgado a posteriori, porque un listón que dibujas después de ver los resultados no es un listón. Y un eval es representativo de producción, no del camino feliz, porque a un agente evaluado solo en los casos que maneja bien se le está halagando, no midiendo.

"Lo probamos una vez" falla las tres. Es una foto de un sistema en movimiento, juzgada por un estándar que no existía antes de que llegaran los resultados. Es la razón más común por la que un agente que hizo una demo preciosa no se puede defender seis semanas después.

Qué medir de verdad

Un eval defendible es una pequeña batería de mediciones, no un número de precisión, porque "precisión" esconde exactamente los fallos que importan en un proceso regulado. Cinco cosas cargan con casi todo el peso.

Concordancia con la revisión humana. Sobre una muestra representativa, ¿con qué frecuencia llega el agente a la misma decisión a la que llegaría una persona revisora cualificada? Este es el número de cabecera, y solo tiene sentido contra una línea base humana, así que necesitas decisiones que una persona ya tomó para comparar. La concordancia es la métrica que un regulador entiende de forma intuitiva, porque responde a "¿es al menos tan fiable como la persona a la que sustituye?".

Rendimiento en cortes de casos difíciles, no solo en la media. Una precisión media del 95% puede esconder un 60% de precisión en el 10% de casos que concentra casi todo el riesgo. Corta el eval por dificultad, por caso límite, por los segmentos donde un error es caro, y somete cada corte a su propio listón. La media es donde se esconden los agentes peligrosos.

Calibración. Cuando el agente dice que está confiado, ¿acierta de verdad con esa frecuencia? Un agente bien calibrado que informa de baja confianza en un caso en el que es probable que se equivoque es mucho más seguro que uno excesivamente confiado con la misma precisión bruta, porque la calibración es lo que hace fiable el escalado automático. A un agente que no sabe lo que no sabe no se le puede dejar decidir cuándo pedir ayuda.

Calidad del escalado. Cuando el agente pasa un caso a una persona, ¿era el caso correcto para pasar? Mide en los dos sentidos: casos que escaló y podría haber resuelto y, peor, casos que resolvió solo y debería haber escalado. En el segundo tipo es donde se acumula el daño silencioso.

Drift. Corre el eval a lo largo del tiempo y observa la tendencia, no solo el punto. Un agente con aspecto estable que pierde un punto de concordancia cada semana está fallando despacio, y solo un eval repetido lo atrapa antes que un cliente.

Los listones controlan la escalera de autonomía

Aquí es donde los evals dejan de ser medición y pasan a ser gobernanza. La autonomía no es un interruptor. Es una escalera, y los listones de los evals son los peldaños.

Un agente empieza en sombra: observa y propone, pero una persona toma y entrega cada decisión. Sus salidas se puntúan contra lo que la persona hizo de verdad, y esa comparación es el eval base. Solo cuando su concordancia y su rendimiento en los cortes difíciles superan un listón definido se gana el siguiente peldaño, supervisado, donde actúa pero una persona aprueba cada paso. Supera un listón más alto, ahora con la calibración y la calidad del escalado en el alcance, y pasa a guiado, actuando de forma autónoma mientras las personas supervisan y tratan las excepciones que señala. La autonomía total, dentro de un radio de acción acotado y documentado, es la cima de la escalera y el listón más difícil, e incluso ahí las decisiones con consecuencia siguen resolviéndose en una persona, por política.

La disciplina es que el listón se fija antes de medir al agente contra él, y el ascenso por la escalera se gana, se registra y es reversible. Si el drift empuja el eval por debajo del listón, el agente baja un peldaño, automáticamente, y esa degradación queda registrada. Una autonomía que solo se puede conceder y nunca revocar no es gobernanza. El kill-switch y la matriz de autonomía están documentados y probados, así que la respuesta a "¿cómo consiguió este agente permiso para actuar?" es siempre una medición y una decisión registrada, nunca una sensación.

Esto es lo que permite a un comité aprobar. No se les pide que confíen en el agente. Se les pide que aprueben una regla: este agente puede actuar a este nivel solo mientras supere este listón en estas métricas, y baja en el momento en que deje de hacerlo. Eso es un control, no una promesa.

Evals adversarios: medir qué le puede hacer hacer un atacante

Una clase más de eval pertenece a cualquier programa honesto, y mide algo distinto de la precisión: qué puede hacerle hacer al agente una entrada hostil.

Un agente lee contenido que no escribió, y parte de ese contenido intenta manipularlo. Los evals de precisión estándar no atrapan esto, porque miden si el agente acierta en casos benignos, no si un documento envenenado puede secuestrarlo. La evaluación adversaria, del tipo que la comunidad investigadora viene construyendo con benchmarks como AgentDojo, sondea exactamente eso: ¿hace una entrada construida que el agente ejecute una acción que no debería, exfiltre datos o ignore sus restricciones? Los benchmarks públicos como AgentDojo son una referencia de cómo construir estas sondas, no una puntuación que citar como resultado propio. Tu eval adversario tiene que correr contra tu agente, tus herramientas y tus datos, y se gana el sitio encontrando el ataque que funciona antes de que lo encuentre un atacante.

Así que la pregunta que debería condicionar cada decisión de autonomía que tomes no es "¿pasó la demo?". Es qué tiene que seguir demostrando este agente, en qué métricas, contra qué listón, para conservar la autonomía que le hemos dado, y baja en el momento en que deje de demostrarlo. Si no puedes responder a eso, el agente no tiene autonomía ganada. Tiene confianza prestada, y la confianza prestada es lo que llena el cementerio de los pilotos.

Si quieres definir el listón de confianza para un proceso real y la batería de evals que lo controla, reserva una reunión y tráenos la decisión en la que menos te gustaría que un agente se equivocara.