Halluzination ist ein Governance-Problem, nicht nur ein Modellproblem
Jede Diskussion über Halluzination landet irgendwann bei derselben Hoffnung: Das nächste Modell wird besser. Die Konfabulationsraten sinken mit jeder Generation, die Benchmarks verbessern sich, und es ist verlockend, das Ganze als vorübergehenden Defekt zu behandeln, den Skalierung ausbügelt. In Arbeit mit geringem Einsatz ist diese Hoffnung sogar vernünftig. Erfindet ein Modell im Brainstorming ein Detail, merken Sie es und machen weiter.
Nur ist die Rahmung in folgenschwerer Arbeit falsch, und daran festzuhalten ist gefährlich. Ein probabilistisches Modell hat keine "Fehlfunktion", wenn es konfabuliert. Es tut genau das, wofür es gebaut wurde: die plausibelste Fortsetzung erzeugen, ob wahr oder nicht. Plausibilität und Wahrheit sind korreliert, nicht identisch, und die Lücke dazwischen schließt sich bei keiner derzeit absehbaren Modellgröße auf null. Ein System, das über einen Kredit entscheidet, eine Transaktion markiert oder eine Compliance-Akte freigibt, wird also nicht dadurch sicher, dass man auf ein besseres Modell wartet. Der Restfehler ist kein Bug, der ein Release entfernt ist. Er ist eine Eigenschaft, die Sie governen müssen.
Das ist die Verschiebung, die zählt. Die Frage ist nicht mehr "wie bekommen wir ein Modell, das nie etwas erfindet?", sondern "wie betreiben wir ein probabilistisches System in einem Prozess, in dem selbstbewusst falsch zu sein keine Konsequenz ungeprüft erreichen darf?" Das ist eine Governance-Frage, und sie hat echte Antworten.
Grounding: aus der Akte antworten und sie zitieren
Das erste Control greift den häufigsten Fehler direkt an. Ein Modell, das aus den eigenen Gewichten antworten soll, füllt Lücken mit plausibler Erfindung. Ein Modell, das nur aus einer gelieferten, abgerufenen Akte antworten und für jede Behauptung die konkrete Quelle zitieren muss, hat weit weniger Raum zu konfabulieren, weil jede Aussage auf etwas Reales zeigen muss.
Grounding tut zweierlei zugleich. Es senkt die Erfindungsrate, weil das Modell über abgerufene Belege statt über das eigene Gedächtnis generiert. Und, ebenso wichtig, es macht die Ausgabe prüfbar. Eine zitierte Aussage lässt sich von einem Menschen oder einem zweiten System in Sekunden verifizieren. Eine unzitierte ist eine Behauptung, die man glauben muss, und Glaube ist kein Control. In einem Prozess mit hohem Einsatz sollte eine unzitierte Antwort als gar keine Antwort gelten.
Enthaltung und Kalibrierung: Das Modell muss "ich weiß es nicht" sagen dürfen
Die gefährlichste Halluzination ist nicht die falsche Antwort. Es ist die falsche Antwort mit völliger Sicherheit vorgetragen, denn Sicherheit ist, was einen Menschen nachgelagert aufhören lässt zu prüfen.
Darum zählt Kalibrierung in folgenschwerer Arbeit mehr als rohe Genauigkeit. Ein kalibriertes System ist eines, dessen ausgedrückte Sicherheit seiner tatsächlichen Zuverlässigkeit folgt: Sagt es, es sei unsicher, liegt es wirklich häufiger falsch. Haben Sie dieses Signal, können Sie tun, was ein unkalibriertes System nicht kann. Sie können das Modell sich enthalten lassen. Unterhalb einer Sicherheitsschwelle ist die richtige Ausgabe keine Vermutung. Sie lautet "das kann ich aus den vorliegenden Belegen nicht bestimmen", was den Fall an einen Menschen leitet, statt eine falsche Gewissheit zu fabrizieren.
Ein Agent, der sich gut enthält, ist in einem regulierten Prozess wertvoller als ein Agent, der etwas genauer ist, aber nie Zweifel einräumt, denn der sich enthaltende Agent scheitert sicher und der selbstbewusste scheitert still. Rein auf Genauigkeit und nie auf Kalibrierung zu optimieren ist die Art, wie Teams Systeme bauen, die meistens richtig liegen und im Rest katastrophal sind.
Konkordanz-Evals: Übereinstimmung bei den Entscheidungen messen, die zählen
Übliche Genauigkeitsmetriken mitteln über alles und verbergen damit die Fehler, die Sie am dringendsten sehen müssen. Ein System kann insgesamt gut abschneiden und auf der kleinen Menge folgenschwerer, mehrdeutiger Fälle unzuverlässig sein, in denen eine falsche Entscheidung echten Schaden anrichtet.
Konkordanzbewertung zielt genau darauf. Statt zu fragen "wie oft liegt das Modell im Mittel richtig?", fragt sie "wie oft stimmt das Modell mit einer vertrauenswürdigen Referenz oder einem Panel menschlicher Fachleute bei den Entscheidungen überein, die Gewicht haben?". Sie messen Übereinstimmung an den schweren Fällen, nicht den leichten, und verfolgen sie fortlaufend statt einmal zum Go-live. Fällt die Konkordanz bei einer Entscheidungsklasse, weil das Modell aktualisiert wurde oder die Eingabeverteilung sich verschob, erfahren Sie es aus dem Eval, nicht aus einem Vorfall. Das ist die Messung, die Ihnen sagt, ob das System eine bestimmte Entscheidung überhaupt noch berühren darf.
Das REQUIRE-HUMAN-Gate: Der Agent bereitet vor, der Mensch entscheidet
Grounding, Enthaltung und Konkordanz senken den Fehler und machen ihn sichtbar. Sie treiben ihn nicht auf null und können es nicht. Für Entscheidungen, bei denen Falschliegen inakzeptabel ist, ist das letzte Control also keine bessere Wahrscheinlichkeit. Es ist eine Grenze.
Eine reife Agentenarchitektur löst folgenschwere Entscheidungen in eines weniger expliziter Verdikte auf, und das hier maßgebliche ist REQUIRE-HUMAN. Trägt eine Entscheidung regulatorisches Gewicht oder unumkehrbare Folgen, lässt die Policy den Agenten nicht entscheiden, wie sicher er auch sei. Der Agent tut die Arbeit, in der er wirklich gut ist: Er sammelt die Belege, groundet und zitiert jede relevante Tatsache, prüft den Fall gegen die Policy und stellt ein vollständiges, prüfbares Paket zusammen. Dann hält er an. Ein Mensch trifft die eigentliche Entscheidung, aufbauend auf allem, was der Agent vorbereitet hat.
Das ist kein Scheitern des Agenten an der Autonomie. Es ist die richtige Arbeitsteilung. Der Agent komprimiert Stunden des Zusammentragens und Prüfens in Sekunden und übergibt einer Person eine voll ausgearbeitete und voll belegte Entscheidung. Die Person liefert die Rechenschaft, die ein probabilistisches System nicht tragen kann. Der Effizienzgewinn ist real, und das folgenschwere Urteil bleibt, wo Gesetz und Vernunft es verlangen.
Warum das Recht dem längst zustimmt
Es gibt einen Grund, warum diese Architektur nicht nur klug ist. Für eine große Klasse von Entscheidungen kommt sie einer rechtlichen Anforderung nahe.
DSGVO Artikel 22 gibt Personen das Recht, keiner ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die rechtliche oder ähnlich erhebliche Wirkung entfaltet. Eine Kreditablehnung, eine Versicherungsablehnung, eine Betrugssperre auf jemandes Konto: Genau darum geht es in diesem Artikel. Eine Architektur, die einen Agenten das allein entscheiden lässt, riskiert nicht nur, dass eine konfabulierte Entscheidung eine Kundin erreicht. Sie steht auf der falschen Seite eines Rechts, das bereits existiert. Das REQUIRE-HUMAN-Gate ist keine optionale Governance-Feinheit für ein gutes Gefühl. Es ist für diese Entscheidungen der Weg, rechtmäßig zu bleiben, und das neuere Regime um Hochrisiko-KI-Systeme schärft dieselbe Erwartung wirksamer menschlicher Aufsicht nur noch.
Die Umdeutung für Ihre nächste Modelldiskussion lautet also: Das Upgrade, das Ihren Agenten mit hohem Einsatz sicher macht, ist kein besseres Modell. Es ist Grounding, das Antworten prüfbar macht, Kalibrierung, die dem System Enthaltung erlaubt, Konkordanz-Evals, die die zählenden Entscheidungen bewachen, und ein menschliches Gate auf denen, die das Gesetz eine Maschine nicht allein treffen lässt. Das Modell wird sich weiter verbessern, und das ist willkommen. Es wird nie das Control sein. Die Governance ist das Control.
Wenn Sie sehen wollen, welche Ihrer Entscheidungen hinter ein REQUIRE-HUMAN-Gate gehören und welche ein Agent sicher vorbereiten kann, buchen Sie einen Termin.