Evals et seuil de confiance : mesurer un agent que vous pouvez défendre
Tout projet d'agent sérieux atteint le même moment. La chose marche en démo, quelqu'un du métier demande à la laisser agir seule, et la salle devient silencieuse, parce que personne ne peut dire comment on saurait que c'est sûr. L'instinct est de répondre par une histoire : ça s'est bien passé en test, l'équipe est confiante, la démo était propre. Dans un contexte réglementé, rien de tout cela ne survit au contact d'un comité des risques.
Sauf qu'il existe un mécanisme qui répond correctement à la question, et c'est le même qui sépare un agent gouverné d'un agent optimiste. Les evals sont la façon dont un agent gagne son autonomie, et le seuil de confiance est la ligne qu'un eval doit franchir avant que l'agent n'ait le droit d'agir. Pas une histoire de confiance. Une mesure, répétée, contre une norme fixée à l'avance. Un agent ne démarre pas digne de confiance. Il le devient en réussissant, et il le reste seulement tant qu'il continue de réussir.
Le recadrage à faire tôt est qu'un eval n'est pas un test qu'on exécute pour se rassurer avant le lancement. C'est un instrument permanent qui commande la quantité d'actions permises à l'agent, et il est câblé directement à l'autonomie qu'on lui accorde.
« On l'a testé une fois » n'est pas un eval
Commencez par tuer le substitut le plus courant, parce que c'est là que meurt la plupart des gouvernances d'agents ratées.
Un passage unique sur un ensemble fixe d'exemples avant la mise en service est un test. Il vous dit que l'agent a marché sur ces entrées, ce jour-là, contre cette version du modèle. Un eval est plus fort sur trois points, et la différence n'est pas pédante.
Un eval est répété, pas ponctuel, parce que le système qu'il mesure change sous vos pieds. Le modèle peut être mis à jour pendant la nuit, la distribution des données bouge, et un agent qui passait le mois dernier peut se dégrader ce mois-ci sans que personne ne livre une ligne de code. Un test ponctuel ne peut pas le voir ; un eval permanent qui se rejoue selon un calendrier et à chaque changement de modèle, oui. Un eval est tenu à un seuil fixé à l'avance, pas jugé après coup, parce qu'une barre tracée après avoir vu les résultats n'est pas une barre. Et un eval est représentatif de la production, pas du chemin heureux, parce qu'un agent noté seulement sur les cas qu'il traite bien est flatté, pas mesuré.
« On l'a testé une fois » échoue aux trois. C'est un instantané d'un système mouvant, jugé selon une norme qui n'existait pas avant l'arrivée des résultats. C'est la raison la plus courante pour laquelle un agent qui a superbement démontré ne peut pas être défendu six semaines plus tard.
Ce qu'il faut réellement mesurer
Un eval défendable est une petite batterie de mesures, pas un chiffre de précision unique, parce que la « précision » cache exactement les échecs qui comptent dans un processus réglementé. Cinq choses portent l'essentiel du poids.
La concordance avec la revue humaine. Sur un échantillon représentatif, à quelle fréquence l'agent atteint-il la même décision qu'un relecteur humain qualifié ? C'est le chiffre de tête, et il n'a de sens que face à une référence humaine, il vous faut donc des décisions qu'une personne a déjà prises pour comparer. La concordance est la métrique qu'un régulateur comprend intuitivement, parce qu'elle répond à « est-ce au moins aussi fiable que la personne remplacée ? ».
La performance sur les tranches de cas difficiles, pas seulement la moyenne. Une précision moyenne de 95 % peut cacher une précision de 60 % sur les 10 % de cas qui portent l'essentiel du risque. Découpez l'eval par difficulté, par cas limite, par segments où une erreur coûte cher, et tenez chaque tranche à son propre seuil. La moyenne est l'endroit où se cachent les agents dangereux.
La calibration. Quand l'agent se dit confiant, a-t-il effectivement raison aussi souvent ? Un agent bien calibré qui signale une faible confiance sur un cas qu'il risque de rater est bien plus sûr qu'un agent trop confiant avec la même précision brute, parce que la calibration est ce qui rend l'escalade automatique digne de confiance. Un agent qui ne sait pas ce qu'il ne sait pas ne peut pas être autorisé à décider quand demander de l'aide.
La qualité de l'escalade. Quand l'agent passe un cas à une personne, était-ce le bon cas à passer ? Mesurez dans les deux sens : les cas escaladés qu'il aurait pu traiter, et pire, les cas qu'il a résolus seul alors qu'il aurait dû escalader. Le second type est là où le mal silencieux s'accumule.
La dérive. Exécutez l'eval dans le temps et regardez la tendance, pas seulement le point. Un agent d'apparence stable qui perd un point de concordance par semaine échoue lentement, et seul un eval répété l'attrape avant qu'un client ne le fasse.
Les seuils commandent l'échelle d'autonomie
C'est ici que les evals cessent d'être une mesure pour devenir de la gouvernance. L'autonomie n'est pas un interrupteur. C'est une échelle, et les seuils d'evals en sont les barreaux.
Un agent démarre en ombre : il observe et propose, mais une personne prend et expédie chaque décision. Ses sorties sont notées contre ce que la personne a effectivement fait, et cette comparaison est l'eval de référence. Ce n'est que lorsque sa concordance et sa performance sur les tranches difficiles franchissent un seuil défini qu'il gagne le barreau suivant, supervisé, où il agit mais une personne approuve chaque étape. Franchissez une barre plus haute, avec la calibration et la qualité d'escalade désormais dans le périmètre, et il passe à guidé, agissant de façon autonome pendant que les personnes surveillent et traitent les exceptions qu'il signale. L'autonomie totale, dans un rayon d'action borné et documenté, est le sommet de l'échelle et la barre la plus dure, et même là les décisions à conséquence se résolvent encore vers une personne par politique.
La discipline veut que le seuil soit fixé avant que l'agent ne soit mesuré contre lui, et que la montée sur l'échelle soit gagnée, journalisée et réversible. Si la dérive repousse l'eval sous la barre, l'agent redescend d'un barreau, automatiquement, et cette rétrogradation est enregistrée. Une autonomie qui ne peut être qu'accordée et jamais révoquée n'est pas de la gouvernance. Le kill-switch et la matrice d'autonomie sont documentés et testés, pour que la réponse à « comment cet agent a-t-il obtenu la permission d'agir ? » soit toujours une mesure et une décision journalisée, jamais une impression.
C'est ce qui permet à un comité de signer. On ne lui demande pas de faire confiance à l'agent. On lui demande d'approuver une règle : cet agent peut agir à ce niveau uniquement tant qu'il franchit ce seuil sur ces métriques, et il redescend dès qu'il ne le franchit plus. C'est un contrôle, pas une promesse.
Evals adverses : mesurer ce qu'un attaquant peut lui faire faire
Une dernière classe d'evals appartient à tout programme honnête, et elle mesure autre chose que la précision : ce qu'une entrée hostile peut faire faire à l'agent.
Un agent lit du contenu qu'il n'a pas écrit, et une partie de ce contenu essaie de le manipuler. Les evals de précision standard ne l'attraperont pas, parce qu'ils mesurent si l'agent traite correctement des cas bénins, pas si un document empoisonné peut le détourner. L'évaluation adverse, du type que la communauté de recherche construit avec des benchmarks comme AgentDojo, sonde exactement cela : une entrée façonnée amène-t-elle l'agent à faire une action qu'il ne devrait pas, à exfiltrer des données ou à ignorer ses contraintes ? Les benchmarks publics comme AgentDojo sont une référence sur la façon de construire ces sondes, pas un score à citer comme votre propre résultat. Votre eval adverse doit tourner contre votre agent, vos outils et vos données, et il gagne sa place en trouvant l'attaque qui marche avant qu'un attaquant ne le fasse.
La question qui devrait commander chaque décision d'autonomie n'est donc pas « a-t-il passé la démo ? ». C'est : que cet agent doit-il continuer de prouver, sur quelles métriques, contre quel seuil, pour conserver l'autonomie que nous lui avons donnée, et redescend-il dès qu'il cesse de le prouver ? Si vous ne pouvez pas répondre, l'agent n'a pas d'autonomie gagnée. Il a de la confiance empruntée, et la confiance empruntée est ce qui remplit le cimetière des pilotes.
Si vous voulez définir le seuil de confiance d'un processus réel et la batterie d'evals qui le commande, prenez rendez-vous et apportez-nous la décision que vous voudriez le moins voir un agent rater.