L'hallucination est un problème de gouvernance, pas seulement de modèle
Toute discussion sur l'hallucination finit par arriver au même espoir : le prochain modèle sera meilleur. Les taux de fabulation baissent à chaque génération, les benchmarks s'améliorent, et il est tentant de traiter la question comme un défaut temporaire que l'échelle lissera. Dans un travail à faible enjeu, cet espoir est même raisonnable. Si un modèle invente un détail en séance de brainstorming, vous le remarquez et vous passez à autre chose.
Sauf que dans un travail à forte conséquence, le cadrage est faux, et s'y tenir est dangereux. Un modèle probabiliste ne « dysfonctionne » pas quand il fabule. Il fait exactement ce pour quoi il a été construit : produire la continuation la plus plausible, qu'elle soit vraie ou non. Plausibilité et vérité sont corrélées, pas identiques, et l'écart entre elles ne se referme à zéro à aucune taille de modèle actuellement envisageable. Un système qui décide d'un prêt, signale une transaction ou valide un dossier de conformité ne peut donc pas être rendu sûr en attendant un meilleur modèle. L'erreur résiduelle n'est pas un bug à une release de la correction. C'est une propriété qu'il faut gouverner.
C'est le basculement qui compte. La question cesse d'être « comment obtenir un modèle qui n'invente jamais rien ? » pour devenir « comment exploiter un système probabiliste dans un processus où être confiant et faux n'a pas le droit d'atteindre une conséquence sans contrôle ? » C'est une question de gouvernance, et elle a de vraies réponses.
L'ancrage : répondre à partir du dossier, et le citer
Le premier contrôle attaque directement l'échec le plus courant. Un modèle à qui l'on demande de répondre depuis ses propres poids comblera les trous par une invention plausible. Un modèle obligé de répondre uniquement à partir d'un dossier fourni et retrouvé, et de citer la source précise de chaque affirmation, a beaucoup moins de place pour fabuler, parce que chaque assertion doit pointer vers quelque chose de réel.
L'ancrage fait deux choses à la fois. Il réduit le taux d'invention, parce que le modèle génère sur des preuves retrouvées plutôt que sur sa propre mémoire. Et, tout aussi important, il rend la sortie vérifiable. Une affirmation citée peut être vérifiée par une personne ou par un second système en quelques secondes. Une affirmation sans citation est une assertion qu'il faut croire, et la foi n'est pas un contrôle. Dans un processus à fort enjeu, une réponse sans citation devrait être traitée comme une non-réponse.
Abstention et calibration : le modèle doit pouvoir dire « je ne sais pas »
L'hallucination la plus dangereuse n'est pas la mauvaise réponse. C'est la mauvaise réponse livrée avec une confiance totale, parce que la confiance est ce qui fait qu'une personne en aval arrête de vérifier.
C'est pourquoi la calibration compte plus que la précision brute dans un travail à conséquence. Un système calibré est celui dont la confiance exprimée suit sa fiabilité réelle : quand il dit ne pas être sûr, il a effectivement plus de chances de se tromper. Une fois ce signal disponible, vous pouvez faire ce qu'un système non calibré ne peut pas. Vous pouvez laisser le modèle s'abstenir. Sous un seuil de confiance, la bonne sortie n'est pas une supposition. C'est « je ne peux pas le déterminer à partir des preuves disponibles », ce qui route le cas vers une personne au lieu de fabriquer une fausse certitude.
Un agent qui s'abstient bien vaut plus, dans un processus réglementé, qu'un agent légèrement plus précis mais qui n'admet jamais le doute, parce que l'agent qui s'abstient échoue en sécurité et l'agent confiant échoue en silence. Optimiser purement pour la précision, et jamais pour la calibration, c'est ainsi que des équipes construisent des systèmes qui ont raison la plupart du temps et sont catastrophiques le reste du temps.
Les evals de concordance : mesurer l'accord sur les décisions qui comptent
Les métriques de précision standard moyennent sur tout, ce qui masque les échecs que vous devez le plus voir. Un système peut bien scorer globalement et rester peu fiable sur le petit ensemble de cas ambigus à forte conséquence où une mauvaise décision fait de vrais dégâts.
L'évaluation de concordance vise cela directement. Au lieu de demander « à quelle fréquence le modèle a-t-il raison en moyenne ? », elle demande « à quelle fréquence le modèle s'accorde-t-il avec une référence de confiance, ou avec un panel d'experts humains, sur les décisions précises qui pèsent ? ». Vous mesurez l'accord sur les cas difficiles, pas les faciles, et vous le suivez en continu plutôt qu'une fois à la mise en service. Quand la concordance sur une classe de décisions baisse, que ce soit parce que le modèle a été mis à jour ou parce que la distribution d'entrée a bougé, vous l'apprenez de l'eval, pas d'un incident. C'est la mesure qui vous dit si le système mérite encore de toucher une décision donnée.
Le gate REQUIRE-HUMAN : l'agent prépare, la personne décide
L'ancrage, l'abstention et la concordance réduisent l'erreur et la rendent visible. Ils ne la ramènent pas, et ne peuvent pas la ramener, à zéro. Pour les décisions où se tromper est inacceptable, le dernier contrôle n'est donc pas une meilleure probabilité. C'est une frontière.
Une architecture agentique mûre résout les décisions à conséquence en l'un de quelques verdicts explicites, et celui qui compte ici est REQUIRE-HUMAN. Quand une décision porte un poids réglementaire ou une conséquence irréversible, la politique ne laisse pas l'agent décider, quelle que soit sa confiance. L'agent fait le travail où il est réellement bon : il rassemble les preuves, ancre et cite chaque fait pertinent, confronte le cas à la politique et assemble un dossier complet et révisable. Puis il s'arrête. Une personne prend la décision réelle, par-dessus tout ce que l'agent a préparé.
Ce n'est pas l'agent qui échoue à être autonome. C'est la bonne division du travail. L'agent comprime des heures d'assemblage et de vérification en quelques secondes et remet à une personne une décision entièrement travaillée et entièrement sourcée. La personne fournit la responsabilité qu'un système probabiliste ne peut pas porter. L'efficacité est réelle, et le jugement à conséquence reste là où la loi et le bon sens l'exigent.
Pourquoi la loi est déjà d'accord
Il y a une raison pour laquelle cette architecture n'est pas seulement prudente. Pour une large classe de décisions, elle s'apparente à une exigence légale.
L'article 22 du RGPD donne aux personnes le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé lorsque cette décision produit des effets juridiques ou l'affecte de manière significative. Un refus de crédit, un refus d'assurance, un blocage pour fraude sur le compte de quelqu'un : ce sont exactement les décisions visées par l'article. Une architecture qui laisse un agent les trancher seul ne risque pas seulement qu'une décision fabulée atteigne un client. Elle se tient du mauvais côté d'un droit qui existe déjà. Le gate REQUIRE-HUMAN n'est pas une élégance de gouvernance optionnelle ajoutée pour le confort. C'est, pour ces décisions, la façon de rester licite, et le régime plus récent autour des systèmes d'IA à haut risque ne fait qu'aiguiser la même attente de supervision humaine effective.
Le recadrage à emporter dans votre prochaine discussion sur les modèles est donc celui-ci. La mise à niveau qui rend votre agent à fort enjeu sûr n'est pas un meilleur modèle. C'est un ancrage qui rend les réponses vérifiables, une calibration qui permet au système de s'abstenir, des evals de concordance qui surveillent les décisions qui comptent, et un gate humain sur celles que la loi n'autorise pas une machine à prendre seule. Le modèle continuera de s'améliorer, et c'est bienvenu. Il ne sera jamais le contrôle. La gouvernance est le contrôle.
Si vous voulez voir lesquelles de vos décisions appartiennent derrière un gate REQUIRE-HUMAN et lesquelles un agent peut préparer en sécurité, prenez rendez-vous.