RAG no es gobernanza: recuperación en entornos regulados
La generación aumentada por recuperación se ganó su popularidad honestamente. En lugar de confiar en que un modelo recuerde un hecho desde sus pesos, recuperas el pasaje relevante de tus propios documentos y se lo entregas al modelo como contexto. La respuesta queda fundamentada en tu material, la alucinación baja y puedes señalar la fuente. Para un chatbot sobre una base de conocimiento, con eso suele bastar.
Solo que, en un entorno regulado, una respuesta fundamentada y una respuesta conforme no son lo mismo, y tratarlas como si lo fueran es uno de los errores más caros que puede cometer un equipo serio. La recuperación controla qué lee el modelo. No dice nada sobre qué tiene permitido leer el modelo, sobre si la fuente que leyó estaba vigente, si el pasaje era auténtico, o si la decisión resultante debería haber ido a una persona. RAG es una técnica de fundamentación. La gobernanza es otra disciplina, y RAG no la contiene.
La versión incómoda de la afirmación es esta. RAG hace que una respuesta parezca autorizada sin hacerla responsable. Una cita junto a una respuesta equivocada o no autorizada no arregla la respuesta. La blanquea, vistiendo una salida sin gobernar con la apariencia de procedencia. En un proceso regulado, eso es peor que una conjetura evidente, porque pasa la revisión pareciendo cuidadoso.
La procedencia es una afirmación que tienes que poder demostrar
Empieza por la propia cita, porque es la funcionalidad en la que todo el mundo más confía y la que menos inspecciona.
Cuando un sistema RAG devuelve una respuesta "basada en" un fragmento recuperado, la cita es solo tan fiable como la fontanería que hay detrás. Tres cosas tienen que cumplirse, y ninguna es automática. El pasaje recuperado tiene que sostener realmente la afirmación, en lugar de ser un fragmento semánticamente parecido que el modelo parafraseó a la ligera. El documento del que salió el fragmento tiene que ser la versión auténtica y vigente, no un borrador sustituido que casualmente seguía en el índice. Y el vínculo entre afirmación y fuente tiene que quedar registrado, no reconstruido después preguntándole al modelo de dónde cree que salió la respuesta.
Ese último punto importa más de lo que parece. Un modelo al que se le pide que cite sus fuentes producirá citas plausibles, fueran o no los pasajes que de verdad usó. La procedencia que generas pidiéndole al modelo que se explique no es procedencia. Es una segunda alucinación con una nota al pie. La procedencia real es un rastro de evidencias capturado por la capa de recuperación en el momento de recuperar: esta consulta, contra esta versión del índice, devolvió estos identificadores de documento, y la respuesta se generó exactamente a partir de ellos. Ese registro tiene que escribirse antes de servir la respuesta, no montarse cuando un auditor pregunta.
El agente solo puede recuperar lo que su identidad tiene permitido ver
Aquí está el modo de fallo que convierte un sistema RAG útil en un incidente de cumplimiento, y no tiene nada que ver con la alucinación.
La mayoría de los sistemas de recuperación se construyen para la relevancia, no para la autorización. El índice vectorial lo guarda todo, y el recuperador devuelve lo que esté semánticamente más cerca de la consulta. Eso es exactamente lo equivocado para un entorno regulado, donde quién pregunta determina qué puede devolverse. Un agente de soporte consultando un corpus no debería poder recuperar un pasaje de un documento que la persona a la que sirve no tiene autorización para ver. Pero si el control de acceso vive solo en la puerta de la aplicación y no dentro de la recuperación, una consulta hábilmente formulada puede arrastrar un pasaje restringido a la ventana de contexto y, desde ahí, a una respuesta, un correo o un registro.
El control de acceso tiene que aplicarse en el momento de la recuperación, contra la identidad propia del agente, no atornillarse después. El agente corre bajo su propia identidad no humana con un alcance definido, y la capa de recuperación filtra el conjunto de candidatos a lo que esa identidad tiene permitido ver antes de ordenar, no después. La comprobación de permisos es parte de la consulta, no un posfiltro que un prompt pueda sortear hablando. Cualquier otra cosa significa que tu política de control de acceso se aplica en todas partes menos en el único sitio donde el modelo lee de verdad tus datos.
Esto replantea la recuperación como una acción con radio de acción, que es lo que es. Un agente recuperando un documento está ejerciendo una capacidad y, como toda capacidad que tiene un agente, debería estar acotada, ser de privilegio mínimo y quedar registrada.
Corpus desactualizados y envenenados son drift que no programaste
La gente de gobernanza ya entiende que un modelo se desvía cuando se actualiza. El corpus del que recupera un sistema RAG también se desvía, y de formas más fáciles de pasar por alto porque nada del modelo cambió.
La desactualización es la silenciosa. Se sustituye un documento de política, pero la versión antigua se queda en el índice, y el sistema sigue citando con confianza una regla que ya no se aplica. La respuesta está fundamentada, tiene procedencia y está equivocada, porque el suelo se movió. Los corpus regulados necesitan la misma disciplina de ciclo de vida que la política regulada: versionado, caducidad y cadencia de revisión, y la garantía de que un documento sustituido se retira de la recuperación y no solo se marca como obsoleto en un sitio que el recuperador nunca consulta.
El envenenamiento es el adversario. El corpus del que un agente recupera lo alimenta a menudo contenido que la organización no escribió: documentos subidos, correos ingeridos, feeds de terceros. Si un atacante consigue meter texto en ese corpus, puede plantar un pasaje que se lea como una instrucción y esperar a que el agente lo recupere. Es prompt injection indirecta entregada a través de la propia base de conocimiento, y se contiene igual que cualquier entrada no confiable: el componente que lee contenido recuperado se trata como si leyera datos controlados por el adversario y estructuralmente no puede actuar sobre ellos como si fueran una orden. Etiquetar con procedencia lo que entra en memoria y lo que sale de la recuperación no es papeleo. Es cómo impides que tu propio índice se convierta en una superficie de ataque.
RAG necesita el mismo rastro de evidencias y el mismo gate humano que cualquier acción de un agente
Junta los tres hilos y la conclusión es directa. La recuperación no es un atajo alrededor de la gobernanza. Es otra acción de un agente, que tiene que vivir dentro de los mismos controles que todas las demás.
Eso significa exactamente la misma maquinaria sobre la que corre el resto del sistema. Un rastro de evidencias append-only que registra qué se recuperó, de qué versión del índice, bajo qué identidad y cómo se derivó la respuesta, escrito antes de que la decisión se confirme. Acceso aplicado contra la identidad del agente en el momento de la recuperación. Reglas de ciclo de vida del corpus que hagan visible la desactualización y contenible el envenenamiento. Y, para las salidas con consecuencia, el mismo gate humano: una respuesta fundamentada con peso regulatorio se resuelve en REQUIRE-HUMAN, porque una cita es evidencia para una decisión, no un sustituto de tomarla.
Nada de esto es un argumento contra RAG. La recuperación es una de las herramientas más útiles que tenemos para fundamentar un agente en el material real de una organización, y la alternativa, un modelo respondiendo desde sus pesos, es peor en todos los ejes que aquí importan. El argumento es contra el supuesto silencioso de que fundamentar es gobernar, de que una cita es un rastro de auditoría, y de que un sistema que recupera con cuidado es por eso un sistema que puedes defender.
Así que la pregunta que llevar a tu próxima revisión de diseño no es "¿nuestro sistema RAG cita sus fuentes?". Es ¿puede el agente recuperar solo lo que su identidad tiene permitido ver, podemos demostrar de dónde salió cada respuesta, y una respuesta fundamentada pero con consecuencia sigue parando en una persona? Si la recuperación está fuera de tu gobernanza en lugar de dentro, has construido algo que parece responsable y no lo es, que en un proceso regulado es lo más peligroso que se puede construir.
Si quieres poner a prueba dónde se sitúa la recuperación respecto a tu gobernanza en un corpus real, reserva una reunión y tráenos el que tiene los documentos más sensibles.