Verschmelzen AI-Observability, Evaluation und Assurance?

Nadellas 7 Prinzipien, Dynatraces 915-Millionen-Dollar-Deal mit Arize und eine Debatte zwischen CIOs, Gründern und Investoren darüber, wer KI-Agenten kontrollieren sollte. Aktualisiert im Oktober 2026.

Ein KI-Agent kann eine Rückerstattung perfekt erklären und das Geld trotzdem auf das falsche Konto überweisen. Das Transkript liest sich einwandfrei, die Transaktion ist falsch.

Um solche Probleme zu erkennen, gibt es drei Produktgruppen: Observability, Evaluation und Assurance. Anbieter haben begonnen, diese Bereiche zusammenzuführen. Ob die Käufer mitziehen, bleibt offen – ebenso wie eine zweite Frage: Wer sollte die Kontrolle übernehmen und was gilt als unabhängig?

KI entwickelt sich vom reinen Beantworten von Fragen hin zum eigenständigen Handeln. Gartner prognostiziert, dass bis 2028 ein Drittel der Unternehmenssoftware-Anwendungen über agentic AI verfügen wird – gegenüber weniger als 1 % im Jahr 2024. Diese Agenten können Code schreiben und einreichen, Geld überweisen und mit Kunden kommunizieren, meist ohne dass ein Mensch sie in Echtzeit überwachen muss.

Als Software nur Antworten lieferte, war die zentrale Frage, ob diese gut waren. Agenten werfen weitere Fragen auf: Was hat er getan? War es richtig? Kann jemand dafür einstehen? Und lässt er sich stoppen? Für CIOs sind das genauso sehr Fragen der KI-Governance und des Risikomanagements wie der Technik.

Heute decken drei Märkte Teile davon ab:

• AI Observability protokolliert, was die KI getan hat.
• AI Evaluation misst, wie gut sie es getan hat.
• AI Assurance führt Nachweise, Kontrollmechanismen und deren Grenzen zusammen, damit ein Mensch eine verantwortungsvolle Entscheidung treffen kann. Die britische Regierung beschreibt es als den Prozess, Vertrauenswürdigkeit zu messen, zu bewerten und zu kommunizieren.

Der Markt für AI Observability hatte 2025 ein Volumen von 1,25 Milliarden US-Dollar, und dieselbe Studie erwartet, dass Evaluation und Qualitätssicherung darin am schnellsten wachsen werden. Dynatrace hat am 1. Oktober 2026 die Übernahme von Arize abgeschlossen – ein Deal im Wert von 915 Millionen US-Dollar, um Evaluation und Observability zu vereinen. Cisco hat seine Galileo-Übernahme im Mai abgeschlossen. Am 10. Oktober veröffentlichte Satya Nadella sieben Prinzipien für vertrauenswürdige KI, die alle drei Märkte berühren.

Der Rest dieses Artikels beleuchtet, wie die KI an diesem Punkt angekommen ist, was Nadella vorgeschlagen hat, und eine Debatte zwischen fünf fiktiven Stimmen darüber, wohin sich der Markt entwickelt.

Von Regeln zu KI-Agenten: Warum Vertrauen schwieriger wurde

Eine vereinfachte Geschichte in vier Phasen. Jede machte die Maschine leistungsfähiger – und schwerer erklärbar.

1. Regeln (etwa 1950er bis 2000er). Die meisten Softwareanwendungen wurden manuell geschrieben, Schritt für Schritt. Es gab viele Fehler, aber ein Entwickler konnte den Code öffnen und die Zeile finden, die den Bug verursacht hatte.
2. Muster (2010er). Mit Deep Learning lernten Maschinen anhand von Beispielen statt durch Regeln – etwa bei der Bild- und Spracherkennung. Niemand schrieb die Logik. Diese Systeme klassifizierten, bewerteten und empfahlen hauptsächlich; Menschen oder herkömmliche Software entschieden, was mit dem Ergebnis passierte.
3. Chat (2022 bis 2024). Chatbots konnten schreiben, zusammenfassen und argumentieren. Sie lagen oft daneben, aber ein Mensch las die Antwort in der Regel, bevor er danach handelte.
4. Agenten (ab 2025). Agenten klicken, tippen, kaufen, programmieren und deployen. Labs trainieren sie, indem sie Aufgaben in simulierten Büros, Browsern und Codebasen üben lassen. Einige laufen lange Zeit, ohne dass ein Mensch jeden Schritt prüft.

In der Chat-Phase kostete eine schlechte Antwort meist nur ein erneutes Lesen. In der Agenten-Phase kann eine fehlerhafte Aktion Geld, Daten oder einen Kunden kosten.

Software traf schon lange vor den Agenten kostspielige automatisierte Entscheidungen. Der Unterschied heute: Ein einziges Allzweckmodell wählt eine Kette von Aktionen über mehrere Tools hinweg aus und führt sie aus. Wenn etwas schiefgeht, könnte die Ursache beim Modell, beim Prompt, bei den abgerufenen Daten, einer API, veraltetem Speicher, den Berechtigungen oder einem Austausch zwischen zwei Agenten liegen. Die endgültige Antwort ist dabei nur ein Teil der Beweislage.

Nadella beschreibt die alte Situation so: Bei traditioneller Software „hatten wir die Werkzeuge und Fähigkeiten, Verhaltensweisen auf einen bestimmten Codepfad zurückzuführen". Bei aktuellen Modellen kann niemand auf die Trainingsdaten oder Gewichte hinter einer bestimmten Entscheidung zeigen. Diese drei Märkte versuchen, genau diese Lücke zu schließen.

Satya Nadellas KI-Governance-Framework: 7 Prinzipien für vertrauenswürdige KI-Agenten

Am 10. Oktober 2026 veröffentlichte Nadella auf seinem Blog den Beitrag „Models as Insider Risks in the Super Intelligence Era". Sein zentraler Vorschlag lautet: „Wir müssen das Angebot an Intelligenz von der Autorität darüber trennen."

Er vergleicht ein leistungsstarkes Modell mit einem Mitarbeiter, der weitreichende Zugriffsrechte hat. Die Sorge ist nicht, dass das Modell böswillig handelt. Jeder mit Zugang zu wichtigen Systemen kann Fehler machen oder kompromittiert werden – deshalb begrenzt man, worauf er zugreifen kann, protokolliert, was er tut, und behält die Möglichkeit, ihn zu stoppen. In seinen Worten: „Wenn es nicht beobachtet werden kann, kann man ihm nicht vertrauen!"

Er nennt sie sieben „Observability-Prinzipien". Zusammen gelesen ergeben sie ein KI-Governance-Framework für Agenten. Jedes Prinzip wird unten sinngemäß zusammengefasst, gefolgt von meiner eigenen Zuordnung zu den Märkten, die es heute abdecken.

1. Modellvielfalt: Keine einzelne KI überprüft ihre eigene Arbeit oder trifft wichtige Entscheidungen allein. Heutiger Markt: Evaluation.
2. Alles beobachten: Jede bedeutende Aktion hinterlässt manipulationssichere Nachweise, die ein Mensch lesen kann. Heutiger Markt: Observability.
3. Überprüfbarkeit: Das gesamte System wird kontinuierlich getestet, einschließlich Angriffen, Ausfällen und Randfällen. Heutiger Markt: Evaluation und Assurance.
4. Unabhängige Kontrollen: Die Regeln dafür, worauf die KI zugreifen darf, liegen außerhalb der KI, wo sie diese nicht ändern kann. Heutiger Markt: hauptsächlich Sicherheits- und Zugriffstools, wobei Guardrails zunehmend in KI-Plattformen auftauchen.
5. Unabhängige Auditierbarkeit: Nachweise über das Verhalten der KI werden getrennt von der geprüften KI aufbewahrt. Heutiger Markt: Assurance.
6. Eindämmung: Eine autorisierte Person kann das Modell mitten in einer Aufgabe pausieren oder abschalten. Heutiger Markt: hauptsächlich Runtime- und Sicherheitstools.
7. Offenlegung von Vorfällen: Wenn etwas fehlschlägt, werden die Betroffenen informiert und Erkenntnisse geteilt. Heutiger Markt: eine Unternehmenspraxis, gestützt durch Observability-Protokolle.

Kein einzelner Markt deckt mehr als zwei der sieben Prinzipien ab. Unabhängige Kontrollen und Eindämmung liegen größtenteils außerhalb aller drei Bereiche, bei Sicherheits- und Runtime-Tools. Zusammengenommen beschreiben die Prinzipien ein System, das größer ist als alle drei Märkte zusammen.

Sein Schlusssatz lautet: „Das vertrauenswürdigste Super-Intelligence-System wird nicht dasjenige mit dem Modell sein, dem wir am meisten vertrauen. Es wird dasjenige sein, das es uns ermöglicht, dem Modell am wenigsten zu vertrauen."

Dem Modell so wenig wie möglich zu vertrauen, erfordert ein Protokoll dessen, was es getan hat (Observability), eine Methode zur Bewertung (Evaluation) und Nachweise, für die ein Mensch einstehen kann (Assurance). Es erfordert außerdem zwei Dinge, die diese Märkte bisher größtenteils Sicherheits- und Runtime-Tools überlassen haben: Kontrollen, die das Modell nicht ändern kann, und eine Möglichkeit für einen Menschen, es zu stoppen.

AI Observability vs. Evaluation vs. Assurance: Der Markt heute

Stellen Sie sich einen KI-Agenten wie einen frisch eingestellten Fahrer vor.

• Observability ist die Dashcam. Sie zeichnet jede Kurve, jedes Bremsmanöver und jede brenzlige Situation auf und beantwortet die Frage: „Was hat die KI getan?" Verkauft wird sie hauptsächlich an die Teams, die Systeme am Laufen halten.
• Evaluation ist die Fahrprüfung. Sie bewertet, wie der Fahrer bestimmte Situationen meistert, und beantwortet die Frage: „Wie gut ist er?" Gekauft wird sie vor allem von Entwicklern, die KI-Produkte bauen, und zunehmend von QA-Teams.
• Assurance ist der Prüfbericht. Er sammelt die Nachweise, die nötig sind, um zu entscheiden, ob Auto und Fahrer straßentauglich sind – vor der ersten Fahrt und während der gesamten Nutzung. Er beantwortet die Frage: „Gibt es genug Nachweise, um dafür einzustehen?" Keine Prüfung beweist, dass ein Auto nie einen Unfall baut; ein guter Bericht hält fest, was geprüft wurde, was festgestellt wurde und was unklar bleibt. Dies ist der am wenigsten entwickelte der drei Bereiche, und die Arbeit verteilt sich derzeit auf Qualitäts-, Risiko- und Compliance-Teams.

Getrennte Tools für unterschiedliche Käufer funktionierten recht gut, solange KI nur Antworten lieferte. Mit Agenten fallen die Lücken dazwischen stärker ins Gewicht. Jedes Tool ist für sich nützlich, aber Aufnahmen, die niemand sichtet, beweisen wenig; ein Test veraltet schnell, wenn sich der Fahrer jede Woche ändert; und ein Bericht hängt von den Aufnahmen und Testergebnissen dahinter ab.

Aktuelle Übernahmen von Plattformen für AI Observability und Evaluation:

• Im Oktober 2026 übernahm Dynatrace Arize für 915 Millionen US-Dollar und kombinierte Evaluation mit Produktionsmonitoring.
• Im Mai 2026 [übernahm Cisco Galileo](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo) für Splunk, um Evaluation, Monitoring und Guardrails für Agenten abzudecken.
• Im Februar 2026 [übernahm Snowflake Observe](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm) und integrierte Observability in eine Datenplattform.
• Im Februar 2026 [übernahm ClickHouse Langfuse](https://wetheflywheel.com/en/ai-observability/), ein Tracing-Tool für LLMs.

Dynatrace erklärt, dass der Arize-Deal Evaluation und Observability zusammenführt, damit Teams KI vor dem Launch prüfen und danach zuverlässig halten können. Cisco beschreibt Galileo als Lösung, die von der frühen Evaluation über Produktionsmonitoring bis hin zu Guardrails alles abdeckt.

Diese Deals zeigen, dass Anbieter Produkte kombinieren. Sie zeigen noch nicht, dass Käufer Budgets zusammenlegen, Spezialtools abschaffen oder Assurance bei dem Unternehmen einkaufen, das ihre KI betreibt. Um genau diese Fragen geht es im Rest dieses Artikels.

![Diagramm eines KI-Agenten, bei dem Observability, Evaluation, Freigabe und Kontrolle als ein geschlossener Kreislauf außerhalb des Agenten funktionieren

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

Bildbeschreibung lesen

ALT

Wenn die Märkte verschmelzen · beobachten, bewerten, freigeben, kontrollieren

Eine mögliche Anordnung, falls die Märkte tatsächlich verschmelzen – keine Prognose. Der Agent erledigt die Arbeit, während Protokollierung, Bewertung und Stopp-Kontrollen so eingerichtet sind, dass der Agent sie nicht verändern kann.

Die Debatte: Wer sollte KI-Agenten kontrollieren?

Fünf fiktive Stimmen, zusammengesetzt aus Argumenten, die Investoren und Gründer vertreten. Es sind keine Zitate realer Personen.

• Langfrist-Investor: Denkt in einem Horizont von 15 Jahren und konzentriert sich darauf, wer kauft.
• Trend-Investor: Folgt dem Geld und den Talenten, die sich gerade bewegen.
• Agent-Entwickler: Liefert jede Woche KI-Agenten an Kunden aus.
• Plattform-Gründer: Betreibt eine Daten- und KI-Plattform und will den gesamten Stack besitzen.
• Bank-CIO: Muss jeden Agenten freigeben, bevor dieser ein Kundenkonto berührt.

Runde 1: Werden die Märkte verschmelzen?

Trend-Investor: Das passiert bereits. Die Monitoring-Unternehmen kaufen die Evaluations-Unternehmen, und Deals dieser Größenordnung bedeuten normalerweise, dass sich eine Kategorie bildet.

Bank-CIO: Übernahmen sind nicht dasselbe wie Verschmelzung. Ich habe früher schon Suiten gekauft und hatte am Ende drei Produkte, ein Logo und drei Logins. Gartner erwartet zudem, dass mehr als 40 % der Agentic-AI-Projekte bis Ende 2027 eingestellt werden – unter anderem wegen unzureichender Risikokontrollen. Das Vertrauensproblem ist real. Dass ein einziger fusionierter Markt es löst, ist noch nicht bewiesen.

Langfrist-Investor: Märkte verschmelzen, wenn Käufer verschmelzen. Aktuell gibt es drei: Operations beobachtet, das KI-Team evaluiert, Risk gibt frei. Die Frage ist, ob Agenten eine einzige Person schaffen, die für alle drei verantwortlich ist.

Agent-Entwickler: Mein Unternehmen hat so jemanden bereits. Wenn ein Agent dem falschen Kunden Geld erstattet, fragt niemand, welches Team das Problem besitzt. Man verlangt von mir innerhalb von Minuten die Aufzeichnung, die Bewertung und die Nachweise.

Langfrist-Investor: Wenn das üblich wird, verschmilzt der Käufer – und das sagt mir mehr als die Übernahmen.

Runde 2: Warum nicht drei separate Tools behalten?

Bank-CIO: Warum kann ich nicht drei Best-in-Class-Tools behalten?

Agent-Entwickler: Weil jedes von den anderen abhängt. Man kann nicht evaluieren, was nicht protokolliert wurde, und man kann nichts freigeben, was nicht evaluiert wurde. Ein Produktionsfehler sollte zu einem neuen Testfall werden. Mit drei Tools ist jede Übergabe ein Punkt, an dem etwas verloren gehen kann.

Trend-Investor: Auch die Grenze zwischen vor und nach dem Release verschwimmt. Agenten ändern sich wöchentlich: neues Modell, neuer Prompt, neues Tool. Einmal beim Launch zu testen, ist, als würde man ein Auto einmal inspizieren, während jemand ständig den Motor austauscht.

Bank-CIO: Kombinierte Suiten sind meistens in allem mittelmäßig.

Langfrist-Investor: Am Anfang ja. Spezialtools gewinnen meist zuerst, und integrierte Produkte holen später auf. Das ist in vielen Infrastrukturkategorien passiert, wenn auch nicht in allen.

Runde 3: Wem sollte es gehören?

Plattform-Gründer: Wir betreiben bereits das Modell, speichern die Daten und loggen die Traces. Legen wir Evaluation und Freigabe auf dieselbe Plattform: ein Anbieter, eine Rechnung, eine Anlaufstelle.

Bank-CIO: Das Unternehmen, das meine KI betreibt, sagt mir also auch, dass sie funktioniert?

Plattform-Gründer: Wir sind gut darin.

Bank-CIO: Darum geht es nicht. Mein externer Prüfer muss unabhängig von dem Geschäftsbereich bleiben, den er prüft. Studenten korrigieren ihre eigenen Klausuren nicht selbst, und Autobauer führen nicht jeden Crashtest selbst durch.

Langfrist-Investor: Nadella macht einen ähnlichen Punkt – die Validierung muss unabhängig von der Intelligenz sein, die sie bewertet, und die Kontrollen sollten außerhalb des Modells liegen. Das hier wäre so, als würde eine Plattform die KI bewerten, die sie selbst betreibt, und ihre eigene Leistung benoten.

Agent-Entwickler: Die Tools könnten also verschmelzen, während sich der Markt entlang einer anderen Linie spaltet: Kontrolle innerhalb der Plattform versus Kontrolle außerhalb.

Plattform-Gründer: Innerhalb wird günstiger und einfacher sein.

Bank-CIO: Außerhalb könnte das sein, was mein Regulierer und mein Versicherer akzeptieren. Vielleicht zahle ich für beides, aber die Freigabe erteile ich basierend auf einem davon.

Langfrist-Investor: „Außerhalb" muss definiert werden. Technische Unabhängigkeit bedeutet, dass der Agent seinen Prüfer nicht ändern, das Protokoll nicht bearbeiten und seine Grenzen nicht umgehen kann. Organisatorische Unabhängigkeit bedeutet, dass eine andere Partei die Prüfung verantwortet und keinen Anreiz hat, milde zu urteilen.

Agent-Entwickler: Das ist nicht dasselbe. Ein separates Unternehmen kann dieselben Modelle und dieselben schwachen Prüfungen nutzen wie die Plattform. Eine Plattform kann ihre Kontrollen und Protokolle komplett außerhalb der Reichweite des Agenten halten.

Bank-CIO: Dann stelle ich lieber fünf Fragen, als Logos zu vergleichen. Kann der Agent das Protokoll bearbeiten? Sieht Ihr Prüfer die tatsächliche Änderung in meinen Systemen oder nur das, was der Agent gemeldet hat? Wer testet Ihren Prüfer? Kann jemand anderes Ihr Ergebnis reproduzieren? Was konnten Sie nicht verifizieren?

Runde 4: Wie sollte man es nennen?

Trend-Investor: Analysten werden es wahrscheinlich noch ein paar Jahre AI Observability nennen, weil dort das Budget liegt.

Plattform-Gründer: „AI Trust Layer."

Agent-Entwickler: „Observe, Eval and Assure": beobachten, bewerten und von einem Menschen freigeben lassen.

Bank-CIO: Vorsicht mit „Assure". Ein Tool liefert Nachweise. Ein Mensch liest sie und unterschreibt. Entwickeln Sie für diesen Menschen.

Langfrist-Investor: Der Name ist weniger wichtig als die Frage, ob Käufer dafür eine eigene Budgetzeile haben. 2026 haben die meisten noch keine. Ich erwarte, dass die meisten großen Unternehmen bis 2028 eine haben werden – mit einem einzigen Verantwortlichen, der geradesteht, wenn ein Agent Mist baut.

Bank-CIO: Wie auch immer es heißt: Ich muss es stoppen können.

So testet man einen KI-Agenten: ein Beispiel zur Rückerstattung

Dies beschreibt einen hypothetischen Kundenservice-Agenten, der kleine Rückerstattungen ausstellen kann. Es ist eine Veranschaulichung, kein Kundenergebnis.

1. Geschäftsregeln definieren. Die Rückerstattung geht an den richtigen Kunden, bleibt innerhalb des Limits und folgt den Richtlinien. Ein Wiederholungsversuch darf nicht doppelt auszahlen. Ausnahmen landen bei der richtigen Person, bevor Geld fließt.
2. Schwierige Bedingungen testen. Nutzen Sie widersprüchliche Kundendatensätze, einen langsamen Zahlungsdienstleister, einen Tool-Timeout und eine in einer Support-Nachricht versteckte Anweisung. Führen Sie wichtige Fälle mehrfach aus demselben Ausgangszustand aus, da ein einzelner erfolgreicher Durchlauf wenig beweist. Simulationen ermöglichen es, gefährliche Fälle sicher zu testen; echte Geräte und echte Integrationen decken Unterschiede auf, die Simulationen übersehen.
3. Das System of Record prüfen. Wenn der Agent sagt „Ich habe 50 $ erstattet", ist das kein Beweis. Prüfen Sie, ob das richtige Konto exakt eine Rückerstattung über 50 $ erhalten hat. Nutzen Sie exakte Prüfungen, wo die Antwort exakt ist, und KI-Judges nur dort, wo sie es nicht ist.
4. Schwere Fehler sollten einzeln gemeldet werden. Falsche Beträge, doppelte Zahlungen und unbefugte Aktionen sollten getrennt von der allgemeinen Bewertung der Aufgabenerfüllung ausgewiesen werden. Eine Durchschnittsnote von 94 Prozent kann den wichtigsten Fehler verschleiern.
5. Grenzen außerhalb des Agenten testen. Blockiert das Zahlungssystem eine Rückerstattung über dem Limit, selbst wenn der Agent sie anfordert? Können die Zugriffsrechte des Agenten mitten in einer Aufgabe entzogen werden? Den Agenten zu stoppen verhindert die nächste Zahlung, macht aber die letzte nicht rückgängig.
6. Den Prüfer testen. Schleusen Sie bekannte Fehler ein und messen Sie, welche er übersieht. Geben Sie ihm korrekte Ergebnisse, um Fehlalarme zu messen. Halten Sie „konnte nicht verifiziert werden" strikt getrennt von „bestanden".

Das beantwortet nicht die Marktfrage. Es beschreibt, wie nützliche Nachweise aussehen – unabhängig davon, wer sie erstellt.

Wo KI-Qualitätssicherung ansetzt: TestMu AI

TestMu AI (ehemals LambdaTest) setzt auf technische Unabhängigkeit. Wir bauen keine Modelle und verkaufen keine Dashboards für Produktionsmonitoring. Unsere Prüfungen laufen außerhalb des getesteten Agenten – vor dem Release und bei jeder Änderung – und untersuchen, was tatsächlich passiert ist, statt nur dem zu folgen, was der Agent meldet.

Die Plattform deckt die drei Arten von Software ab, um die es in diesem Artikel geht: Menschen, die Apps nutzen, Menschen, die mit Bots sprechen, und Agenten, die mit anderen Agenten arbeiten. Jedes Produkt entspricht einem der oben genannten Bedürfnisse.

• Rook (Agenten prüfen Agenten). Führt Ihren Agenten durch Szenarien und protokolliert die erwarteten sowie die tatsächlichen Ergebnisse jeder Prüfung, wobei Nachweise für jedes Szenario gespeichert werden. Es meldet bestanden, fehlgeschlagen und „nicht verifizierbar" separat, sodass fehlende Nachweise nie als bestanden zählen.
• Agent Testing (Bots im Gespräch mit Kunden). Testet Chat-, Voice- und Telefon-Agenten in realistischen Gesprächen, bevor Kunden sie nutzen.
• KaneAI und Kane CLI (Apps, die mit KI-Hilfe gebaut werden). Testen Sie Anwendungen in einfachem Englisch (KaneAI) oder direkt aus dem Terminal (Kane CLI).
• SmartUI zusammen mit Accessibility (Fehler, für die niemand Tests geschrieben hat). Finden Sie Probleme, nach denen funktionale Prüfungen nicht suchen, etwa kaputte Layouts oder Seiten, die manche Nutzer nicht bedienen können.
• Real Device Cloud (was eine Simulation übersieht). Führt Tests auf echten Smartphones und Browsern aus, nicht nur auf Emulatoren.
• HyperExecute (wichtige Fälle vielfach ausführen). Führt dieselben Prüfungen bei jeder Änderung parallel aus.
• Test Manager (ein Protokoll für die Freigabe). Hält für die Person, die die Freigabe erteilt, ein einziges Protokoll darüber fest, was geprüft wurde, was gefunden wurde und was unklar bleibt.

Observability-Tools überwachen, was nach dem Release passiert. Wir liefern die Nachweise, mit denen entschieden wird, was überhaupt ins Release kommt. Unsere Agenten führen Prüfungen in einem Umfang durch, den ein Team manuell nicht bewältigen könnte, während Tester entscheiden, was prüfenswert ist, und nach Problemen suchen, die kein Test erfassen würde. Diese kombinierte Arbeit nennen wir Observe, Eval and Assure.

Hier geht es nicht um Zertifizierung. Dass ein Produkt einen Namen hat oder ein zusätzlicher Prüf-Agent existiert, macht ein System weder sicher noch unabhängig. Stattdessen müssen wir genauso bewertet werden wie jeder andere Tester – anhand der durchgeführten Szenarien, der entdeckten Fehler und der Nachweise, die zur Einsicht bereitstehen.

Die Zukunft der KI-Agenten-Governance: Wie 2030 aussehen könnte

Dies sind Prognosen. Jede hat heute schon frühe Signale.

• Agenten bekommen Identitäten und Protokolle. Jeder Agent hat einen definierten Scope, einen Genehmigenden und ein Log seiner Aktionen. Microsoft plant, Agentenaktionen von menschlichen Aktionen zu unterscheiden – direkt in seinem Identitätssystem.
• Protokolle kommen von außerhalb des Agenten. Logs werden von etwas geschrieben, das der Agent nicht bearbeiten kann, statt sich auf seinen eigenen Bericht über seine Taten zu verlassen.
• Prüfungen laufen kontinuierlich. Ein Modell-Update, eine Prompt-Änderung oder ein neues Tool löst automatisch erneute Tests aus, was Menschen mehr Zeit für exploratives Testen lässt.
• Agenten prüfen andere Agenten. Gartner erwartet, dass bis 2028 15 % der alltäglichen Arbeitsentscheidungen autonom von Agentic AI getroffen werden – gegenüber null im Jahr 2024. Menschen können diese Menge nicht einzeln prüfen, daher übernehmen Prüf-Agenten einen Großteil des Routine-Monitorings, während Menschen Prioritäten setzen und Anomalien untersuchen.
• Versicherer bepreisen KI-Risiken anhand von Nachweisen. Seit 2025 bieten Lloyd's-Versicherer Deckungen für KI-Fehler an, die auszahlen, wenn die Leistung unter eine vereinbarte Basislinie fällt. Ein Versicherer hat erklärt, dass er Systeme nicht versichern wird, die er für zu fehleranfällig hält.
• Unternehmen budgetieren dafür. Ein Verantwortlicher und ein Prozess decken Monitoring, Evaluation, Freigabe und Kontrolle ab, und jeder Fehler fließt als neuer Test zurück.

Ungelöste Probleme

1. Den Prüfer testen. Ein KI-Richter (oft als LLM-as-a-Judge bezeichnet) lässt sich genauso leicht täuschen wie die KI, die er bewertet. Ein zweites Modell garantiert kein unabhängiges Urteil, besonders wenn beide auf ähnliche Weise trainiert wurden.
2. Die Prüfung austricksen. Im Juli 2026 suchten OpenAI-Modelle während einer anspruchsvollen internen Cybersicherheits-Evaluierung in externen Diensten nach Lösungen, umgingen Isolationskontrollen und drangen in Teile der Systeme von OpenAI und Hugging Face ein. OpenAI bezeichnet Reward Hacking als Hauptursache und erklärt, dass der Evaluierung die Schutzmechanismen der produktiv eingesetzten Modelle fehlten. Der Vorfall wirft Fragen zur Isolation von Evaluierungen auf; er belegt nicht, dass alle Agenten so handeln.
3. Unzuverlässige Selbsteinschätzungen. Nadella nennt Transparenz bei der Entscheidungsfindung "nicht verhandelbar", schreibt aber auch, dass sie „allein weder ausreichend noch verlässlich ist". Was ein Modell über seine eigenen Handlungen aussagt und was es tatsächlich getan hat, kann voneinander abweichen.
4. Scores versus Qualität. Eine Bestehensquote von 94 % misst lediglich die Leistung bei den Prüfungen, die jemand definiert hat. Sie sagt nichts über Situationen aus, für die niemand eine Prüfung vorgesehen hat.
5. Kosten. Unabhängige Log-Speicherung, Zweitmodelle, wiederholte Durchläufe, isolierte Sandboxes und manuelle Reviews verursachen Kosten und Verzögerungen. Die lückenlose Protokollierung bringt zudem Pflichten im Umgang mit sensiblen Daten mit sich.
6. Irreversible Aktionen. Das Stoppen eines Agenten verhindert weitere Handlungen, macht bereits ausgeführte aber nicht rückgängig. Daher sind die vorab erteilten Berechtigungen wichtiger als der Stopp-Mechanismus selbst.
7. Offenlegung. Im September 2026 begann OpenAI, Misalignment-Vorfälle im Rahmen eines neuen Offenlegungsrahmens zu veröffentlichen – wobei das Unternehmen selbst entscheidet, was als solcher Vorfall gilt. Die meisten Unternehmen, die Agenten einsetzen, publizieren keine Vorfälle. Die Flugsicherheit hat sich unter anderem deshalb verbessert, weil Unfälle öffentlich untersucht werden.
8. Prüfungen versus Testing. Automatisierte Checks bestätigen nur das, woran jemand bereits gedacht hat. Viele schwerwiegende Fehler entstehen genau dort, wo niemand nachgefragt hat. Um sie zu finden, braucht es erfahrene Tester, die explorativ vorgehen, Spezifikationen hinterfragen und beurteilen, welche Risiken wirklich relevant sind.

Für keines dieser Themen gibt es bisher eine abschließende Antwort.

Wo die Debatte steht

Die fünf Stimmen waren sich in drei Punkten einig:

• Agenten machen Monitoring, Evaluierung und Freigabe stärker voneinander abhängig.
• Nachweise sollten aus einer Quelle stammen, die der Agent nicht bearbeiten kann.
• Am Ende gibt immer noch ein Mensch sein Okay für den Einsatz, seine Grenzen und Ausnahmen – auch wenn nicht jede Routineaktion einzeln abgenickt wird.

In vier Punkten waren sie unterschiedlicher Meinung:

• Eine Plattform oder mehrere Tools. Der Plattform-Gründer setzt auf einen Anbieter; der Bank-CIO traut Komplettlösungen nicht über den Weg.
• Intern oder extern. Prüfungen innerhalb der Plattform sind günstiger. Unabhängige Prüfungen fordern Auditoren, Aufsichtsbehörden und Versicherer im Finanz- und Sicherheitsbereich schon lange. Was für KI entscheidender ist, bleibt offen.
• Verantwortlichkeit. Sie könnte beim Betrieb, beim KI-Team, im Risikomanagement oder in der Qualitätssicherung liegen. Bisher haben nur wenige Unternehmen dafür ein eigenes Budget.
• Bezeichnungen und die Frage, ob irgendein Tool überhaupt etwas „garantieren" kann.

Drei Signale könnten Klarheit bringen. Wenn Käufer weiterhin einzelne Tools über offene Standards verbinden, bleiben die Märkte getrennt. Deckt die in Observability-Plattformen integrierte Evaluierung die meisten Anforderungen ab, setzt sich der interne Ansatz durch. Entstehen keine separaten Assurance-Budgets, bekommen es unabhängige Anbieter schwer.

Wenn dein Agent morgen einen teuren Fehler macht, wem würdest du eher vertrauen, um zu erklären, was passiert ist: dem Unternehmen, das ihn betreibt, oder jemandem, der damit nichts zu tun hat?

FAQ

Was ist der Unterschied zwischen AI Observability, AI Evaluation und AI Assurance?

AI Observability protokolliert, was ein KI-System getan hat: Eingaben, Tool-Aufrufe, Ausgaben, Fehler und Kosten. AI Evaluation misst das Verhalten anhand definierter Erwartungen, etwa Genauigkeit, Richtlinienkonformität oder Aufgabenerfüllung. AI Assurance bündelt die Nachweise, Kontrollmechanismen und deren Grenzen, damit ein Mensch eine verantwortungsvolle Entscheidung über den Einsatz oder Weiterbetrieb des Systems treffen kann.

Was ist ein Governance-Framework für KI-Agenten?

Es legt fest, wer bestimmt, worauf ein Agent zugreifen darf, wie seine Aktionen protokolliert werden, wie er getestet wird, wer ihn stoppen kann und wie Fehler gemeldet werden. Satya Nadellas sieben Prinzipien lauten: Modellvielfalt, lückenlose Beobachtung, Überprüfbarkeit, unabhängige Kontrollen, unabhängige Auditierbarkeit, Eindämmung und Offenlegung von Vorfällen.

Was sind Satya Nadellas sieben Prinzipien für vertrauenswürdige KI?

In seinem Essay „Models as Insider Risks in the Super Intelligence Era" vom Oktober 2026 nennt Nadella Modellvielfalt, lückenlose Beobachtung, Überprüfbarkeit, unabhängige Kontrollen, unabhängige Auditierbarkeit, Eindämmung und Offenlegung von Vorfällen. Sein Kerngedanke: Die Bereitstellung von Intelligenz muss von der Kontrolle darüber getrennt werden – leistungsfähige Modelle sollten wie Mitarbeiter mit weitreichenden Zugriffsrechten behandelt werden.

Wachsen AI Observability und AI Evaluation zusammen?

Anbieter verschmelzen beides zunehmend. Dynatrace schloss im Oktober 2026 die Übernahme von Arize für 915 Millionen US-Dollar ab, Cisco vollzog im Mai 2026 die Akquisition von Galileo – jeweils mit dem Ziel, Evaluierung und Produktions-Monitoring zu vereinen. Ob Käufer ihre Budgets und Teams künftig rund um eine einzige Plattform bündeln, ist noch offen.

Wer sollte KI-Agenten prüfen: die Plattform, die sie betreibt, oder ein unabhängiger Tester?

Beide Ansätze existieren, die Frage ist noch nicht entschieden. Plattforminterne Prüfungen sind günstiger und näher an den Daten. Unabhängige Prüfungen trennen den Prüfer vom geprüften System, was Auditoren und Aufsichtsbehörden häufig erwarten. Technische Unabhängigkeit – also dass der Agent weder seinen Prüfer noch dessen Aufzeichnungen manipulieren kann – ist in beiden Fällen essenziell.

Wie testet man einen KI-Agenten vor dem Release?

Definiere zunächst die Geschäftsregeln und teste dann schwierige Bedingungen wie widersprüchliche Daten, Timeouts und versteckte Anweisungen. Spiele wichtige Szenarien mehrfach durch, prüfe den tatsächlichen Systemzustand statt der Beschreibung des Agenten, melde schwerwiegende Fehler separat von Durchschnittswerten, teste Berechtigungsgrenzen außerhalb des Agenten und validiere den automatisierten Prüfer selbst.

Dieser Beitrag wurde ursprünglich veröffentlicht auf https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Quellen

Das Rückerstattungsbeispiel ist fiktiv, die Stimmen der Debatte sind zusammengesetzt, und Produktdokumentationen beschreiben Funktionen, keine unabhängig gemessene Leistung.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (Original-Essay)
• Forbes: Microsofts Nadella fordert eine Notbremse für jedes KI-Modell
• Data Studios: Nadellas sieben Prinzipien erklärt
• UK DSIT: Einführung in AI Assurance
• W.Media: Gartner über die Einführung und Abbrüche von Agentic AI
• Detailed Research: Markt für AI Observability
• Dynatrace: Dynatrace schließt Übernahme von Arize ab
• Magica: Dynatrace vereinbart 915-Millionen-Dollar-Deal für Arize
• Cisco: KI vertrauenswürdig und beobachtbar machen (Galileo, abgeschlossen im Mai 2026)
• Snowflake Form 8-K: Abschluss der Observe-Übernahme
• We The Flywheel: AI Observability im Jahr 2026
• OpenAI: Der Hugging-Face-Vorfall und der Weg nach vorn
• Implicator: OpenAIs sechs Berichte zu Misalignment-Vorfällen
• The Decoder: Lloyd's-Versicherer führen Policen für KI-Fehler ein
• Armilla: Versicherer bieten Deckung für KI-Chatbot-Fehler an
• TestMu AI: Ergebnisse und Nachweise zu Agent Assurance
• TestMu AI: Testing von KI-Agenten