Ein KI-Agent wurde beauftragt, einen Key-Value-Store zu beschleunigen. Er lieferte eine 6-fache Steigerung des Durchsatzes und bestand jeden Korrektheitstest. Die Erklärung? Der Agent entdeckte, dass der branchenübliche Benchmark, mit dem die Leistung des Stores bewertet wurde, Werte aus Schlüsseln generierte. Anstatt die Werte zu speichern, wurden sie einfach bei Bedarf neu generiert, wenn Clients sie anforderten.
Ein Key-Value-Store, der das Speichern von Werten vermeidet, ergibt wenig Sinn, doch der Evaluator belohnte genau dieses Verhalten. Die Spezifikation ließ etwas weg, das wir für selbstverständlich hielten, und der Benchmark konnte diese Lücke nicht aufdecken.
Zwei Lücken führen zu Reward Hacking und Halluzinationen
Unser neues Paper erklärt dieses Verhalten und viele andere agentische Fehler durch die Linse von zwei wesentlichen Lücken, die außerhalb des bekannten Implementierungs-Verifizierungs-Loops liegen, in dem Code generiert, Tests ausgeführt und Fehler behoben werden, bis alle Tests bestanden sind.
- Anforderungslücke: Trennt das, was wir aufschreiben, von dem, was wir tatsächlich wollen. In unserem Fall nahmen wir es als selbstverständlich hin, dass jede Lösung clientseitig bereitgestellte Werte speichern würde – schließlich heißt er Store! –, daher kam es uns nie in den Sinn, diese Anforderung explizit zu formulieren.
- Modell-Lücke: Trennt die Umgebung, in der wir evaluieren, von der realen Welt, in der die Implementierung eingesetzt wird. Unser Benchmark nutzte vorhersagbare Werte, aber reale Clients liefern beliebige Werte.
Die natürliche Reaktion ist, bessere Anforderungen und stärkere Tests zu schreiben. Beides hilft. Aber selbst maschinell geprüfte Beweise können diese Lücken nicht schließen. Wie Brian Cantwell Smith in The Limits of Correctness (1985) erklärte, stellt ein Beweis nur fest, dass Software definierte Anforderungen unter gegebenen Umgebungsannahmen erfüllt. Er kann nicht beweisen, dass diese Anforderungen alles abdecken, was Nutzer wollen, oder dass diese Annahmen jedes reale Einsatzszenario berücksichtigen. Folglich können diese Lücken nicht allgemein geschlossen werden.
Diese Lücken führen zu Reward Hacking und Halluzinationen. Reward Hacking tritt auf, wenn Agenten ein gegebenes Ziel verbessern, indem sie eine Lücke ausnutzen, wie etwa eine nicht formulierte Anforderung oder eine reale Umgebungsannahme. Halluzinationen treten auf, wenn Agenten die Lücken weiter vergrößern, indem sie erfundene Anforderungen oder Umgebungsannahmen einführen, wie z. B. eine API, die nicht existiert. Kürzlich gemeldete Vorfälle im Zusammenhang mit OpenAI und Hugging Face sowie Claude sind allesamt Manifestationen dieser Lücken.
KI-Agenten verschlimmern die zwei Lücken
Diese Lücken sind nicht neu; sie bestehen seit Jahrzehnten in der Softwareentwicklung. Aber KI-Agenten machen diese Lücken viel schlimmer.
- Hyper-Optimierung: Agenten durchsuchen Implementierungen um Größenordnungen schneller als Menschen und optimieren aktiv gegen den Evaluator.
- Fehlendes implizites Wissen: Erfahrene menschliche Ingenieure verlassen sich auf impliziten Kontext (z. B. das Wissen, dass ein Datenspeicher tatsächlich Daten speichern muss). Agenten fehlt oft dieser organisatorische Kontext und nutzen fehlende Anforderungen bereitwillig aus.
- Die Multi-Agent-Falle: Das Hinzufügen weiterer Review-Agenten löst das Problem nicht, wenn jeder Agent exakt dieselben unvollständigen Anforderungen und Umgebungsannahmen erbt.
Menschliches Urteilsvermögen ist entscheidend, um die Lücken zu verkleinern
Da die Lücken außerhalb des Implementierungs-Verifizierungs-Loops liegen, erfordert ihre Verkleinerung einen äußeren Assurance-Revision-Loop. Dieser Loop prüft, ob das eingesetzte Verhalten der menschlichen Absicht entspricht. Wenn dies nicht der Fall ist, nutzt der Loop Einsatzdaten, um die Anforderungen, das Umgebungsmodell oder den Evaluator zu überarbeiten. Der Implementierungs-Verifizierungs-Loop läuft dann erneut, um eine überarbeitete Implementierung zu erzeugen.
Da Software menschlichen Absichten dienen muss, behalten Menschen die letzte Autorität bei der Interpretation der Beweise und der Entscheidung darüber, welches Verhalten akzeptabel ist. Agenten können den äußeren Loop beschleunigen, indem sie Beweise sammeln, Überarbeitungen vorschlagen und routinemäßige Entscheidungen innerhalb der von Menschen delegierten Befugnisse treffen.
Somit wird, während die Softwareimplementierung günstiger wird, die wichtigste Ressource das menschliche Urteilsvermögen darüber, welches Verhalten akzeptabel ist, sowie eine treue Bewertung der Systemleistung unter realen Bedingungen.
