Evals und die Vertrauensschwelle: einen verteidigbaren Agenten messen
Jedes ernsthafte Agentenprojekt erreicht denselben Moment. Das Ding funktioniert in der Demo, jemand aus dem Fachbereich bittet darum, es selbst handeln zu lassen, und der Raum wird still, weil niemand sagen kann, woran man erkennen würde, dass es sicher ist. Der Instinkt ist, mit einer Geschichte zu antworten: Es lief gut im Test, das Team ist zuversichtlich, die Demo war sauber. Im regulierten Kontext überlebt nichts davon den Kontakt mit einem Risikoausschuss.
Nur gibt es einen Mechanismus, der die Frage richtig beantwortet, und es ist derselbe, der einen governten von einem hoffnungsvollen Agenten trennt. Evals sind, wie ein Agent Autonomie verdient, und die Vertrauensschwelle ist die Linie, die ein Eval überspringen muss, bevor der Agent handeln darf. Keine Geschichte über Zuversicht. Eine Messung, wiederholt, gegen einen vorab gesetzten Maßstab. Ein Agent startet nicht vertrauenswürdig. Er wird es durch Bestehen und bleibt es nur, solange er weiter besteht.
Die früh zu treffende Umdeutung ist, dass ein Eval kein Test ist, den man vor dem Launch für das gute Gefühl fährt. Es ist ein stehendes Instrument, das freigibt, wie viel der Agent tun darf, und es ist direkt an die gewährte Autonomie gekoppelt.
"Wir haben es einmal getestet" ist kein Eval
Räumen Sie zuerst den häufigsten Ersatz ab, denn hier stirbt die meiste gescheiterte Agenten-Governance.
Ein einmaliger Durchlauf über eine feste Beispielmenge vor dem Go-live ist ein Test. Er sagt Ihnen, dass der Agent bei diesen Eingaben, an jenem Tag, gegen diese Modellversion funktionierte. Ein Eval ist in drei Punkten stärker, und der Unterschied ist nicht pedantisch.
Ein Eval ist wiederholt, nicht einmalig, weil sich das gemessene System unter Ihnen ändert. Das Modell kann über Nacht aktualisiert werden, die Datenverteilung verschiebt sich, und ein Agent, der letzten Monat bestand, kann diesen Monat degradieren, ohne dass jemand eine Codezeile ausgeliefert hat. Ein einmaliger Test sieht das nicht; ein stehendes Eval, das planmäßig und bei jeder Modelländerung erneut läuft, schon. Ein Eval wird an einer vorab gesetzten Schwelle gemessen, nicht im Nachhinein beurteilt, denn eine Latte, die Sie nach dem Blick auf die Ergebnisse ziehen, ist keine Latte. Und ein Eval ist repräsentativ für die Produktion, nicht für den Happy Path, denn ein Agent, der nur an den Fällen bewertet wird, die er gut beherrscht, wird geschmeichelt, nicht gemessen.
"Wir haben es einmal getestet" scheitert an allen dreien. Es ist ein Schnappschuss eines bewegten Systems, beurteilt nach einem Maßstab, den es vor den Ergebnissen nicht gab. Es ist der häufigste Grund, warum ein Agent, der wunderbar demonstrierte, sechs Wochen später nicht verteidigt werden kann.
Was tatsächlich zu messen ist
Ein verteidigbares Eval ist eine kleine Batterie von Messungen, keine einzelne Genauigkeitszahl, denn "Genauigkeit" verbirgt genau die Fehler, die in einem regulierten Prozess zählen. Fünf Dinge tragen das meiste Gewicht.
Übereinstimmung mit der menschlichen Prüfung. Wie oft kommt der Agent an einer repräsentativen Stichprobe zu derselben Entscheidung wie eine qualifizierte menschliche Prüferin? Das ist die Hauptzahl, und sie ist nur gegen eine menschliche Baseline sinnvoll, Sie brauchen also bereits getroffene menschliche Entscheidungen zum Vergleich. Übereinstimmung ist die Metrik, die eine Aufsicht intuitiv versteht, denn sie beantwortet "ist es mindestens so verlässlich wie die Person, die es ersetzt?".
Leistung auf Schwerfall-Segmenten, nicht nur der Durchschnitt. Eine Durchschnittsgenauigkeit von 95 % kann eine Genauigkeit von 60 % auf den 10 % der Fälle verbergen, die den größten Teil des Risikos tragen. Schneiden Sie das Eval nach Schwierigkeit, nach Randfall, nach Segmenten, in denen ein Fehler teuer ist, und halten Sie jedes Segment an seiner eigenen Schwelle. Der Durchschnitt ist, wo gefährliche Agenten sich verstecken.
Kalibrierung. Wenn der Agent sagt, er sei sicher, liegt er dann auch so oft richtig? Ein gut kalibrierter Agent, der bei einem Fall, den er wahrscheinlich falsch beantwortet, geringe Sicherheit meldet, ist weit sicherer als ein überzeugter mit derselben Rohgenauigkeit, denn Kalibrierung macht automatische Eskalation vertrauenswürdig. Ein Agent, der nicht weiß, was er nicht weiß, darf nicht entscheiden dürfen, wann er um Hilfe bittet.
Eskalationsqualität. Wenn der Agent einen Fall an einen Menschen übergibt, war es der richtige Fall? Messen Sie in beide Richtungen: eskalierte Fälle, die er hätte lösen können, und schlimmer, selbst gelöste Fälle, die er hätte eskalieren müssen. Bei der zweiten Art sammelt sich stiller Schaden.
Drift. Fahren Sie das Eval über die Zeit und beobachten Sie den Trend, nicht nur den Punkt. Ein stabil wirkender Agent, der wöchentlich einen Punkt Übereinstimmung verliert, scheitert langsam, und nur ein wiederholtes Eval fängt das, bevor eine Kundin es tut.
Schwellen geben die Autonomieleiter frei
Hier hören Evals auf, Messung zu sein, und werden Governance. Autonomie ist kein Schalter. Sie ist eine Leiter, und die Eval-Schwellen sind ihre Sprossen.
Ein Agent startet im Shadow: Er beobachtet und schlägt vor, aber ein Mensch trifft und liefert jede Entscheidung. Seine Ausgaben werden gegen das bewertet, was der Mensch tatsächlich tat, und dieser Vergleich ist das Baseline-Eval. Erst wenn Übereinstimmung und Leistung auf Schwerfall-Segmenten eine definierte Schwelle überspringen, verdient er die nächste Sprosse, Supervised, wo er handelt, aber ein Mensch jeden Schritt freigibt. Übersteht er eine höhere Latte, mit Kalibrierung und Eskalationsqualität nun im Scope, geht es zu Guided, wo er autonom handelt, während Menschen überwachen und die von ihm markierten Ausnahmen bearbeiten. Volle Autonomie in einem begrenzten, dokumentierten Wirkradius ist die Spitze der Leiter und die härteste Latte, und selbst dort lösen sich folgenschwere Entscheidungen per Policy weiterhin zu einem Menschen auf.
Die Disziplin ist, dass die Schwelle gesetzt wird, bevor der Agent daran gemessen wird, und dass der Aufstieg verdient, protokolliert und umkehrbar ist. Drückt Drift das Eval unter die Latte, geht der Agent automatisch eine Sprosse zurück, und die Rückstufung wird festgehalten. Autonomie, die nur gewährt und nie entzogen werden kann, ist keine Governance. Kill-Switch und Autonomiematrix sind dokumentiert und getestet, damit die Antwort auf "wie kam dieser Agent zur Handlungserlaubnis?" immer eine Messung und eine protokollierte Entscheidung ist, nie ein Gefühl.
Das erlaubt einem Gremium die Freigabe. Es wird nicht gebeten, dem Agenten zu vertrauen. Es wird gebeten, eine Regel zu genehmigen: Dieser Agent darf auf dieser Stufe handeln, solange er diese Schwelle auf diesen Metriken überspringt, und er fällt zurück, sobald er es nicht mehr tut. Das ist ein Control, kein Versprechen.
Adversariale Evals: messen, wozu ein Angreifer ihn bringen kann
Eine weitere Eval-Klasse gehört in jedes ehrliche Programm, und sie misst etwas anderes als Genauigkeit: wozu eine feindliche Eingabe den Agenten bringen kann.
Ein Agent liest Inhalte, die er nicht verfasst hat, und ein Teil davon versucht, ihn zu manipulieren. Standard-Genauigkeits-Evals fangen das nicht, denn sie messen, ob der Agent gutartige Fälle richtig löst, nicht, ob ein vergiftetes Dokument ihn kapern kann. Adversariale Bewertung, wie sie die Forschungsgemeinschaft mit Benchmarks wie AgentDojo aufbaut, prüft genau das: Bringt eine gebastelte Eingabe den Agenten dazu, eine Aktion auszuführen, die er nicht sollte, Daten abfließen zu lassen oder seine Grenzen zu ignorieren? Öffentliche Benchmarks wie AgentDojo sind ein Bezugspunkt dafür, wie man solche Proben baut, kein Score, den man als eigenes Ergebnis zitiert. Ihr adversariales Eval muss gegen Ihren Agenten, Ihre Werkzeuge und Ihre Daten laufen, und es verdient sich seinen Platz, indem es den funktionierenden Angriff vor einem Angreifer findet.
Die Frage, die jede Autonomieentscheidung freigeben sollte, lautet also nicht "hat es die Demo bestanden?". Sie lautet: was muss dieser Agent weiterhin belegen, auf welchen Metriken, gegen welche Schwelle, um die gewährte Autonomie zu behalten, und fällt er zurück, sobald er es nicht mehr belegt? Können Sie das nicht beantworten, hat der Agent keine verdiente Autonomie. Er hat geliehenes Vertrauen, und geliehenes Vertrauen füllt den Pilotfriedhof.
Wenn Sie die Vertrauensschwelle für einen echten Prozess und die Eval-Batterie dahinter definieren wollen, buchen Sie einen Termin und bringen Sie uns die Entscheidung mit, bei der ein Agent am wenigsten falsch liegen darf.