RAG não é governação: recuperação em ambientes regulados
A geração aumentada por recuperação ganhou a sua popularidade honestamente. Em vez de confiar que um modelo recorda um facto a partir dos seus pesos, recupera a passagem relevante dos seus próprios documentos e entrega-a ao modelo como contexto. A resposta fica fundamentada no seu material, a alucinação desce, e consegue apontar para a fonte. Para um chatbot sobre uma base de conhecimento, isso chega muitas vezes.
Só que, num ambiente regulado, uma resposta fundamentada e uma resposta conforme não são a mesma coisa, e tratá-las como se fossem é um dos erros mais caros que uma equipa séria pode cometer. A recuperação controla o que o modelo lê. Não diz nada sobre o que o modelo pode ler, sobre se a fonte que leu estava atual, se a passagem era autêntica, ou se a decisão resultante devia ter ido parar a uma pessoa.
O RAG é uma técnica de fundamentação. A governação é outra disciplina, e o RAG não a contém.
A versão incómoda da afirmação é esta. O RAG faz uma resposta parecer autorizada sem a tornar responsabilizável. Uma citação ao lado de uma resposta errada ou não autorizada não corrige a resposta. Branqueia-a, vestindo um output por governar com a aparência de proveniência. Num processo regulado, isso é pior do que um palpite óbvio, porque passa na revisão por parecer cuidadoso.
A proveniência é uma afirmação que tem de conseguir provar
Comece pela própria citação, porque é a funcionalidade em que toda a gente mais confia e que menos inspeciona.
Quando um sistema RAG devolve uma resposta "baseada em" um excerto recuperado, a citação só é tão fiável quanto a canalização por trás. Três coisas têm de se verificar, e nenhuma é automática. A passagem recuperada tem mesmo de sustentar a afirmação, em vez de ser um excerto semanticamente parecido que o modelo parafraseou à solta. O documento de onde o excerto veio tem de ser a versão autêntica e atual, e não um rascunho substituído que por acaso continuava no índice. E a ligação entre afirmação e fonte tem de ser registada, não reconstruída depois do facto perguntando ao modelo de onde acha que a resposta veio.
Este último ponto importa mais do que parece. Um modelo a quem se pede que cite as fontes produz citações plausíveis, tenham sido ou não as passagens que de facto usou. Proveniência que se gera pedindo ao modelo que se explique não é proveniência. É uma segunda alucinação com uma nota de rodapé. A proveniência real é um trilho de evidências captado pela camada de recuperação no momento da recuperação: esta consulta, contra esta versão do índice, devolveu estes identificadores de documento, e a resposta foi gerada exatamente a partir deles. Esse registo tem de ser escrito antes de a resposta ser servida, e não montado quando um auditor pergunta.
O agente só pode recuperar o que a sua identidade pode ver
Eis o modo de falha que transforma um sistema RAG útil num incidente de compliance, e nada tem a ver com alucinação.
A maioria dos sistemas de recuperação é construída para relevância, não para autorização. O índice vetorial guarda tudo, e o recuperador devolve o que estiver semanticamente mais próximo da consulta. É exatamente o errado para um ambiente regulado, onde quem pergunta determina o que pode ser devolvido. Um agente de apoio a consultar um corpus não devia conseguir recuperar uma passagem de um documento que a pessoa que serve não tem autorização para ver. Mas se o controlo de acesso vive só à porta da aplicação e não dentro da recuperação, uma consulta habilmente formulada consegue puxar uma passagem restrita para a janela de contexto e, daí, para uma resposta, um email ou um registo.
O controlo de acesso tem de ser aplicado no momento da recuperação, contra a identidade própria do agente, e não aparafusado depois. O agente corre sob a sua identidade não humana com um âmbito definido, e a camada de recuperação filtra o conjunto de candidatos para aquilo que essa identidade pode ver antes de ordenar, e não depois. A verificação de permissões é parte da consulta, não um pós-filtro que um prompt consiga contornar por conversa. Qualquer outra coisa significa que a sua política de controlo de acesso é aplicada em todo o lado exceto no único sítio onde o modelo lê mesmo os seus dados.
Isto reenquadra a recuperação como uma ação com raio de ação, que é o que ela é. Um agente a recuperar um documento está a exercer uma capacidade e, como todas as capacidades que um agente detém, deve ser delimitada, de privilégio mínimo e registada.
Corpora desatualizados e envenenados são drift que não agendou
Quem trabalha em governação já percebe que um modelo se desvia quando é atualizado. O corpus de onde um sistema RAG recupera também se desvia, e de formas mais fáceis de não notar, porque nada no modelo mudou.
A desatualização é a silenciosa. Um documento de política é substituído, mas a versão antiga fica no índice, e o sistema continua a citar com confiança uma regra que já não se aplica. A resposta está fundamentada, tem proveniência, e está errada, porque o chão se moveu. Os corpora regulados precisam da mesma disciplina de ciclo de vida que a política regulada: versionamento, prazo e cadência de revisão, e a garantia de que um documento substituído é removido da recuperação, e não apenas marcado como obsoleto num sítio que o recuperador nunca consulta.
O envenenamento é o adversarial. O corpus de onde um agente recupera é muitas vezes alimentado por conteúdo que a organização não escreveu: documentos carregados, emails ingeridos, feeds de terceiros. Se um atacante conseguir pôr texto nesse corpus, consegue plantar uma passagem que se lê como instrução e esperar que o agente a recupere. É prompt injection indireta entregue através da própria base de conhecimento, e contém-se da mesma forma que qualquer input não confiável: o componente que lê conteúdo recuperado é tratado como a ler dados controlados pelo adversário e não consegue estruturalmente agir sobre eles como se fossem um comando. Etiquetar com proveniência o que entra na memória e o que sai da recuperação não é papelada. É como impede que o seu próprio índice se torne uma superfície de ataque.
O RAG precisa do mesmo trilho de evidências e do mesmo gate humano que qualquer ação de um agente
Junte os três fios e a conclusão é direta. A recuperação não é um atalho à volta da governação. É mais uma ação de um agente, que tem de viver dentro dos mesmos controlos que todas as outras.
Isso significa exatamente a mesma maquinaria em que o resto do sistema corre. Um trilho de evidências append-only que regista o que foi recuperado, de que versão do índice, sob que identidade, e como a resposta foi derivada, escrito antes de a decisão se concretizar. Acesso aplicado contra a identidade do agente no momento da recuperação. Regras de ciclo de vida do corpus que tornem a desatualização visível e o envenenamento contível. E, para outputs com consequência, o mesmo gate humano: uma resposta fundamentada com peso regulatório resolve-se em REQUIRE-HUMAN, porque uma citação é evidência para uma decisão, e não um substituto de a tomar.
Nada disto é argumento contra o RAG. A recuperação é das ferramentas mais úteis que temos para fundamentar um agente no material real de uma organização, e a alternativa, um modelo a responder a partir dos seus pesos, é pior em todos os eixos que aqui importam. O argumento é contra o pressuposto silencioso de que fundamentar é governar, de que uma citação é um trilho de auditoria, e de que um sistema que recupera com cuidado é, por isso, um sistema que consegue defender.
Por isso, a pergunta a levar à próxima revisão de desenho não é "o nosso sistema RAG cita as fontes?". É o agente só consegue recuperar o que a sua identidade pode ver, conseguimos provar de onde veio cada resposta, e uma resposta fundamentada mas com consequência continua a parar numa pessoa? Se a recuperação está fora da sua governação em vez de dentro dela, construiu algo que parece responsabilizável e não é, o que num processo regulado é a coisa mais perigosa que se pode construir.
Se quiser pôr à prova onde é que a recuperação se situa face à sua governação num corpus real, marque uma reunião e traga-nos o que tem os documentos mais sensíveis.