Evals e a fasquia de confiança: medir um agente que consegue defender
Todos os projetos sérios de agentes chegam ao mesmo momento. A coisa funciona na demonstração, alguém do lado do negócio pede para a deixar atuar sozinha, e a sala cala-se, porque ninguém consegue dizer como saberia que é seguro. O instinto é responder com uma história: correu bem nos testes, a equipa está confiante, a demonstração foi limpa. Num contexto regulado, nada disso sobrevive ao contacto com um comité de risco.
Só que existe um mecanismo que responde à pergunta como deve ser, e é o mesmo mecanismo que separa um agente governado de um esperançoso. Os evals são a forma de um agente conquistar autonomia, e a fasquia de confiança é a linha que um eval tem de ultrapassar antes de o agente poder atuar. Não uma história sobre confiança. Uma medição, repetida, contra um padrão definido à partida. Um agente não começa de confiança. Torna-se de confiança ao passar, e continua de confiança apenas enquanto continuar a passar.
O reenquadramento que vale a pena fazer cedo é que um eval não é um teste que se corre para ficar descansado antes do lançamento. É um instrumento permanente que controla quanto o agente pode fazer, e está ligado diretamente à autonomia que lhe é concedida.
"Testámos uma vez" não é um eval
Comece por matar o substituto mais comum, porque é aqui que morre a maior parte da governação de agentes falhada.
Uma única passagem sobre um conjunto fixo de exemplos antes de entrar em produção é um teste. Diz-lhe que o agente funcionou naqueles inputs, naquele dia, contra aquela versão do modelo. Um eval é mais forte em três pontos, e a diferença não é picuinhice.
Um eval é repetido, não único, porque o sistema que mede muda debaixo dos seus pés. O modelo pode ser atualizado durante a noite, a distribuição dos dados muda, e um agente que passou no mês passado pode degradar-se este mês sem ninguém entregar uma linha de código. Um teste único não consegue ver isso; um eval permanente que corre a intervalos e a cada mudança de modelo consegue. Um eval é confrontado com uma fasquia definida à partida, e não julgado depois do facto, porque uma fasquia que desenha depois de ver os resultados não é uma fasquia. E um eval é representativo da produção, e não do caminho feliz, porque um agente avaliado apenas nos casos que trata bem está a ser elogiado, não medido.
"Testámos uma vez" falha os três. É uma fotografia de um sistema em movimento, julgada por um padrão que não existia antes de os resultados chegarem. É a razão mais comum por que um agente com uma demonstração brilhante não consegue ser defendido seis semanas depois.
O que medir de facto
Um eval defensável é uma pequena bateria de medições, e não um número de exatidão, porque "exatidão" esconde exatamente as falhas que importam num processo regulado. Cinco coisas carregam quase todo o peso.
Concordância com a revisão humana. Numa amostra representativa, com que frequência o agente chega à mesma decisão que um revisor humano qualificado chegaria? É este o número de topo, e só tem significado contra uma linha de base humana, por isso precisa de decisões que uma pessoa já tomou para comparar. A concordância é a métrica que um regulador entende intuitivamente, porque responde a "é pelo menos tão fiável quanto a pessoa que substitui?".
Desempenho em fatias de casos difíceis, não só na média. Uma exatidão média de 95% pode esconder 60% de exatidão nos 10% de casos que carregam quase todo o risco. Corte o eval por dificuldade, por caso-limite, pelos segmentos onde um erro é caro, e imponha a cada fatia a sua própria fasquia. A média é onde os agentes perigosos se escondem.
Calibração. Quando o agente diz que está confiante, acerta mesmo com essa frequência? Um agente bem calibrado que reporta baixa confiança num caso em que é provável que erre é muito mais seguro do que um excessivamente confiante com a mesma exatidão bruta, porque é a calibração que torna o escalamento automático digno de confiança. Um agente que não sabe o que não sabe não pode decidir quando pedir ajuda.
Qualidade do escalamento. Quando o agente passa um caso a uma pessoa, era o caso certo para passar? Meça nos dois sentidos: casos que escalou e podia ter tratado e, pior, casos que resolveu sozinho e devia ter escalado. É no segundo tipo que o dano silencioso se acumula.
Drift. Corra o eval ao longo do tempo e observe a tendência, não só o ponto. Um agente com ar estável que perde um ponto de concordância por semana está a falhar devagar, e só um eval repetido o apanha antes de um cliente o fazer.
As fasquias controlam a escada de autonomia
É aqui que os evals deixam de ser medição e passam a ser governação. A autonomia não é um interruptor. É uma escada, e as fasquias dos evals são os degraus.
Um agente começa em sombra: observa e propõe, mas uma pessoa toma e entrega todas as decisões. Os seus outputs são pontuados contra o que a pessoa fez de facto, e essa comparação é o eval de base. Só quando a sua concordância e o seu desempenho nas fatias difíceis ultrapassam uma fasquia definida é que conquista o degrau seguinte, supervisionado, onde atua mas uma pessoa aprova cada passo. Ultrapasse uma fasquia mais alta, agora com calibração e qualidade de escalamento no âmbito, e passa a guiado, a atuar de forma autónoma enquanto as pessoas monitorizam e tratam as exceções que sinaliza. A autonomia total, dentro de um raio de ação delimitado e documentado, é o topo da escada e a fasquia mais difícil, e mesmo aí as decisões com consequência continuam a resolver-se numa pessoa, por política.
A disciplina é que a fasquia é definida antes de o agente ser medido contra ela, e a subida na escada é conquistada, registada e reversível. Se o drift empurrar o eval abaixo da fasquia, o agente desce um degrau, automaticamente, e essa despromoção fica registada. Autonomia que só pode ser concedida e nunca revogada não é governação. O kill-switch e a matriz de autonomia são documentados e testados, para que a resposta a "como é que este agente obteve permissão para atuar?" seja sempre uma medição e uma decisão registada, nunca uma impressão.
É isto que permite a um comité aprovar. Não lhes está a pedir que confiem no agente. Está a pedir que aprovem uma regra: este agente pode atuar a este nível apenas enquanto ultrapassar esta fasquia nestas métricas, e desce no momento em que deixar de o fazer. Isso é um controlo, não uma promessa.
Evals adversariais: medir o que um atacante lhe consegue fazer fazer
Mais uma classe de eval pertence a qualquer programa honesto, e mede algo diferente da exatidão: o que um input hostil consegue fazer o agente fazer.
Um agente lê conteúdo que não escreveu, e parte desse conteúdo está a tentar manipulá-lo. Os evals de exatidão padrão não apanham isto, porque medem se o agente acerta em casos benignos, e não se um documento envenenado o consegue sequestrar. A avaliação adversarial, do tipo que a comunidade de investigação tem vindo a construir com benchmarks como o AgentDojo, sonda exatamente isso: um input construído leva o agente a executar uma ação que não devia, a exfiltrar dados, ou a ignorar as suas restrições? Benchmarks públicos como o AgentDojo são uma referência para como construir estas sondas, e não uma pontuação para citar como resultado próprio. O seu eval adversarial tem de correr contra o seu agente, as suas ferramentas e os seus dados, e ganha o seu lugar ao encontrar o ataque que funciona antes de um atacante o encontrar.
Por isso, a pergunta que devia condicionar cada decisão de autonomia que toma não é "passou na demonstração?". É o que é que este agente tem de continuar a provar, em que métricas, contra que fasquia, para manter a autonomia que lhe demos, e desce no momento em que deixar de o provar? Se não consegue responder a isso, o agente não tem autonomia conquistada. Tem confiança emprestada, e é confiança emprestada que enche o cemitério dos pilotos.
Se quiser definir a fasquia de confiança para um processo real e a bateria de evals que a controla, marque uma reunião e traga-nos a decisão em que menos gostaria que um agente errasse.