A alucinação é um problema de governação, não só do modelo
Todas as discussões sobre alucinação acabam na mesma esperança: o próximo modelo será melhor. As taxas de confabulação descem a cada geração, os benchmarks melhoram, e é tentador tratar a questão como um defeito temporário que a escala vai limar. Em trabalho de baixo risco, a esperança é até razoável. Se um modelo inventa um detalhe numa sessão de brainstorming, repara-se e segue-se em frente.
Só que, em trabalho de alta consequência, o enquadramento está errado, e insistir nele é perigoso. Um modelo probabilístico não "avaria" quando confabula. Está a fazer exatamente aquilo para que foi construído: produzir a continuação mais plausível, seja ou não verdadeira. Plausibilidade e verdade estão correlacionadas, não são idênticas, e a distância entre elas não fecha a zero em nenhum tamanho de modelo que hoje se consiga antever. Por isso um sistema que decide sobre um empréstimo, sinaliza uma transação ou valida um dossiê de compliance não se torna seguro à espera de um modelo melhor. O erro residual não é um defeito a uma versão de distância. É uma propriedade que tem de governar.
É esta a viragem que importa. A pergunta deixa de ser "como arranjamos um modelo que nunca inventa?" e passa a ser "como operamos um sistema probabilístico dentro de um processo em que estar confiantemente errado não pode chegar a uma consequência sem verificação?". É uma pergunta de governação, e tem respostas reais.
Fundamentação: responder a partir do registo, e citá-lo
O primeiro controlo ataca a falha mais comum diretamente. Um modelo a quem se pede que responda a partir dos seus próprios pesos preenche lacunas com invenção plausível. Um modelo obrigado a responder apenas a partir de um registo fornecido e recuperado, e a citar a fonte específica de cada afirmação, tem muito menos espaço para confabular, porque cada asserção tem de apontar para algo real.
A fundamentação faz duas coisas ao mesmo tempo. Reduz a taxa de invenção, porque o modelo está a gerar sobre evidência recuperada e não sobre a sua memória. E, tão importante, torna o output verificável. Uma afirmação com citação é verificável por uma pessoa ou por um segundo sistema em segundos. Uma afirmação sem citação é algo que tem de aceitar por fé, e fé não é um controlo. Num processo crítico, uma resposta sem citação deve ser tratada como nenhuma resposta.
Abstenção e calibração: o modelo tem de poder dizer "não sei"
A alucinação mais perigosa não é a resposta errada. É a resposta errada entregue com confiança total, porque é a confiança que faz uma pessoa a jusante deixar de verificar.
É por isso que a calibração importa mais do que a exatidão bruta em trabalho com consequência. Um sistema calibrado é aquele cuja confiança expressa acompanha a sua fiabilidade real: quando diz que está inseguro, é genuinamente mais provável que esteja errado. Com esse sinal, pode fazer o que um sistema não calibrado não consegue. Pode deixar o modelo abster-se. Abaixo de uma fasquia de confiança, o output correto não é um palpite. É "não consigo determinar isto a partir da evidência disponível", o que encaminha o caso para uma pessoa em vez de fabricar uma falsa certeza.
Um agente que se abstém bem vale mais num processo regulado do que um agente ligeiramente mais exato que nunca admite dúvida, porque o que se abstém falha em segurança e o confiante falha em silêncio. Otimizar apenas para exatidão, e nunca para calibração, é a forma de as equipas construírem sistemas que acertam quase sempre e são catastróficos no resto.
Evals de concordância: medir o acordo nas decisões que importam
As métricas de exatidão padrão fazem médias sobre tudo, o que esconde precisamente as falhas que mais precisa de ver. Um sistema pode pontuar bem no geral e continuar pouco fiável no pequeno conjunto de casos ambíguos e de alta consequência onde uma decisão errada faz estragos reais.
A avaliação de concordância aponta a isso diretamente. Em vez de perguntar "com que frequência o modelo acerta, em média?", pergunta "com que frequência o modelo concorda com uma referência de confiança, ou com um painel de especialistas, nas decisões específicas que pesam?". Mede-se o acordo nos casos difíceis, não nos fáceis, e acompanha-se continuamente em vez de uma vez à entrada em produção. Quando a concordância numa classe de decisão desce, seja porque o modelo foi atualizado ou porque a distribuição dos dados mudou, fica a saber pelo eval, não por um incidente. É esta a medição que lhe diz se o sistema ainda merece sequer tocar numa dada decisão.
O gate REQUIRE-HUMAN: o agente prepara, a pessoa decide
A fundamentação, a abstenção e a concordância reduzem o erro e tornam-no visível. Não o levam, nem podem levar, a zero. Por isso, nas decisões em que errar é inaceitável, o último controlo não é uma probabilidade melhor. É uma fronteira.
Uma arquitetura de agentes madura resolve as decisões com consequência num de poucos veredictos explícitos, e o que importa aqui é REQUIRE-HUMAN. Quando uma decisão tem peso regulatório ou consequência irreversível, a política não deixa o agente decidir, por mais confiante que esteja. O agente faz o trabalho em que é genuinamente bom: reúne a evidência, fundamenta e cita cada facto relevante, confronta o caso com a política e monta um dossiê completo e revisível. Depois pára. Uma pessoa toma a decisão, sobre tudo o que o agente preparou.
Isto não é o agente a falhar em ser autónomo. É a divisão de trabalho correta. O agente comprime horas de recolha e verificação em segundos e entrega a uma pessoa uma decisão totalmente trabalhada e totalmente fundamentada. A pessoa fornece a responsabilização que um sistema probabilístico não consegue suportar. A eficiência é real, e o juízo com consequência fica onde a lei e o bom senso exigem.
Porque é que a lei já concorda com isto
Há uma razão para esta arquitetura não ser meramente prudente. Para uma grande classe de decisões, é quase um requisito legal.
O artigo 22.º do RGPD dá às pessoas o direito de não ficarem sujeitas a uma decisão baseada unicamente em tratamento automatizado quando esta produza efeitos jurídicos ou as afete significativamente. Uma recusa de crédito, a recusa de um seguro, o bloqueio por fraude na conta de alguém: são exatamente as decisões de que o artigo trata. Uma arquitetura que deixa um agente decidi-las sozinho não está apenas a arriscar que uma decisão confabulada chegue a um cliente. Está do lado errado de um direito que já existe. O gate REQUIRE-HUMAN não é um requinte opcional de governação acrescentado por conforto. É, para estas decisões, a forma de se manter lícito, e o regime mais recente sobre sistemas de IA de alto risco só aguça a mesma expectativa de supervisão humana com significado.
Por isso, o reenquadramento a levar à próxima discussão sobre modelos é este. O upgrade que torna seguro o seu agente em trabalho crítico não é um modelo melhor. É fundamentação que torna as respostas verificáveis, calibração que permite ao sistema abster-se, evals de concordância que vigiam as decisões que importam, e um gate humano nas que a lei não deixa uma máquina tomar sozinha. O modelo vai continuar a melhorar, e ainda bem. Nunca será o controlo. A governação é o controlo.
Se quiser perceber que decisões suas pertencem atrás de um gate REQUIRE-HUMAN e quais um agente pode preparar em segurança, marque uma reunião.