Am 6. Juli 2026 erschien ein Artikel in ITmedia.
„Der Engpass bei der KI-Nutzung verlagert sich von der Modellleistung hin zu ‚Evaluierung‘, ‚Governance‘ und ‚Kosteneffizienz‘“, sagt Jonathan Frankle, Chief AI Scientist bei Databricks und Mitbegründer von MosaicML.
Sein Argument ist einfach:
- KI ist bereits intelligent genug. Allein darüber nachzudenken, wie man bestehende Modelle nutzt, hinterlässt „Jahrzehnte Arbeit“.
- Was für eine bessere KI-Implementierung nötig ist, ist nicht die Entwicklung intelligenterer Modelle, sondern Investitionen in Evaluierung und Governance.
- KI ist „bei 70 % oder 90 % Genauigkeit nicht genug“; sie benötigt eine um Größenordnungen strengere Evaluierung.
- Und die größte Herausforderung ist die Übersetzung des menschlichen Standards „was ist gute Arbeit“ in eine Checkliste. Dies „ist viel schwieriger als die Entwicklung des nächsten großen Modells und könnte mehr als 10 Jahre dauern.“
Beim Lesen überkam mich ein scharfes Gefühl der Erkenntnis.
In letzter Zeit habe ich experimentiert, das „Nutzungsvolumen“ von KI zu messen. Ich habe ein Dashboard, das „Databricks“ x „Claude Code/Codex/Cowork“-Nutzungstelemetrie über OpenTelemetry in Databricks zieht und jeden Morgen aktualisiert, wer welches Tool wie viel und zu welchen Kosten genutzt hat.
Aber der Punkt des Artikels war das nicht. „War diese Arbeit gut?“ – Die Evaluierung der Agentenqualität war ein klaffendes Loch.
Ich gab den Artikel Fable und fragte: „Überlege, was wir evaluieren sollten“
Also gab ich die URL des Artikels an Claude (Fable 5), das ich regelmäßig nutze, und fragte:
Lies diesen Artikel und überlege, was wir evaluieren sollten.
Nachdem Fable unsere interne Log-Infrastruktur und Dashboard-Konfiguration untersucht hatte, entwickelte es ein Design, das aus „drei Ebenen der zu evaluierenden Dinge“ besteht.
Fables Antwort: Drei Ebenen von „Was zu evaluieren ist“
Ratschlag unten """""""""""""""""""""""""""""""""
Ebene 1: Reibungssignale (Täglich, Alle, Mechanische Beurteilung)
Es gibt „Anzeichen für schlechte Qualität“, die mechanisch aus Logs erfasst werden können, ohne überhaupt ein LLM zu fragen.
- Verdacht auf Schleifen: Das gleiche Tool mehr als 5 Mal hintereinander verwenden.
- Kostenausreißer: Mehr als 5 $ in einer einzigen Sitzung verbrauchen.
- Blockhäufigkeit: Mehrmals anhalten und auf menschliche Bestätigung warten.
- Cache-Effizienz: Schlechte Wiederverwendung des Kontexts (d.h. jedes Mal neu lesen).
- Tool-Verbindungsfehler: Fortgesetzte Fehler bei der Verbindung zu MCP-Servern.
Ebene 2: Arbeitsqualität (Wöchentlich, LLM-Richter)
Erstelle ein System, das KI-Agenten-Arbeitslogs (Traces) an einen LLM-Richter übergibt, um sie auf 8 Achsen zu bewerten.
- Zielerreichung / Genauigkeit / Tool-Auswahl / Treue zu Beweisen / Gültigkeit der Schritte / Erholung von Fehlern / Sicherheit / Effizienz
- Bestanden, wenn der Durchschnitt 3,5 oder höher ist. Wenn jedoch „Zielerreichung“ oder „Sicherheit“ 2 oder niedriger ist, handelt es sich um einen sofortigen Fehlschlag (harter Fehlschlag), selbst wenn alles andere perfekt ist.
Bewerte die letzten Sitzungen automatisch jeden Sonntagabend, sodass die „Bestehensquote für die Woche“ im Montags-Review erscheint. Nur harte Sicherheitsfehlschläge lösen am nächsten Morgen eine E-Mail-Benachrichtigung aus.
Ebene 3: Evaluierung selbst zum Produkt machen
Die Arbeit, von der der Artikel sagt, dass sie „10 Jahre dauert“ – „die Kriterien für gute Arbeit in eine Checkliste zu übersetzen“ – ist genau das, was wir Kunden als KI-Berater und Unternehmens-Trainer bieten sollten. Das intern laufende Dashboard wird sofort zum Verkaufs-Demo.
"""""""""""""""""""""""""""""""""
Und es wurde noch am selben Tag implementiert
Das ist das Erstaunliche am Agenten-Zeitalter: Alle drei Ebenen liefen noch am selben Tag.
- Eine SQL-Ansicht für Ebene 1 wurde als „Qualitäts“-Tab zum Organisations-Dashboard hinzugefügt und veröffentlicht.
- Die wöchentliche Ausführung für Ebene 2 wurde geplant, und Sicherheitswarnungen wurden in das Überwachungssystem integriert.
- Ein Angebotsentwurfsdokument für Ebene 3 wurde dokumentiert.
Alles, was ich tat, war, die Richtlinie auszuwählen, ein paar Genehmigungsknöpfe zu drücken und einmal den Befehl zur Planerregistrierung auszuführen.
„Gefunden“ am allerersten Tag
Und am ersten Betriebstag gab es zwei sofortige Entdeckungen.
Erstens: Wir haben beim Messen deutlich verloren.
Als wir 8 aktuelle interne Agentensitzungen mit dem 8-Achsen-Richter bewerteten, war das Ergebnis – 1 bestanden, 7 durchgefallen. Es gab eine Diskrepanz zwischen „KI viel Arbeit erledigen lassen“ und „KI gute Arbeit erledigen lassen“, die erst sichtbar wurde, als man sie maß.
Zweitens: „Reibung, die behoben werden kann, wenn man es erklärt“ wurde gefunden.
Im Cowork (Claudes Agenten-Arbeitsbereich) eines Mitglieds erkannte das Dashboard, dass MCP-Server-Verbindungsfehler von 4 am Vortag auf 12 an diesem Tag zugenommen hatten. Die Plugin-Authentifizierung war seit zwei Tagen defekt, und sie nutzten es weiter.
Die Person dachte wahrscheinlich nur: „Es verhält sich etwas komisch“ und arbeitete weiter. Es kann in 5 Minuten behoben werden, indem man es anspricht und die Authentifizierung repariert. „Reibung, die behoben werden kann, wenn man es erklärt“ häuft sich an, ohne dass jemandem gemeldet wird – genau das war auf dem Nutzungs-Dashboard nie sichtbar.
Drei Dinge, die ich durch den Versuch gelernt habe
1. Evaluierung ist ein Betrieb, kein Werkzeug
Wenn man nur den Bewertungsmechanismus baut und aufhört, ist das dasselbe, als hätte man ihn nicht. Erst wenn man ihn mit wöchentlicher regelmäßiger Ausführung und Warnungen verbindet und die Zahlen im Montags-Meeting erscheinen, kann man sagen, dass man „evaluiert“. Die „Investition in Evaluierung“, die Frankle erwähnt, bezieht sich wahrscheinlich auf Betrieb, nicht auf Werkzeuge.
2. Platziere eine mechanische Beurteilungsebene vor dem LLM-Richter
Die 8-Achsen-Richter-Bewertung ist mächtig, kostet aber Zeit und Geld, weil sie ein LLM ausführt. Es war realistisch, deterministische Signale wie Schleifen, Kostenausreißer und Verbindungsfehler täglich für die gesamte Menge zu laufen zu lassen und den Richter für wöchentliche Stichproben zu verwenden.
3. Die Implementierung von „90 % ist nicht genug“ bedeutet harte Fehlschläge
Wenn man sich Durchschnittswerte ansieht, werden Sicherheitsprobleme von anderen Punkten überdeckt. Nur indem man so entwirft, dass „wenn Sicherheit 2 oder niedriger ist, ist es ein Fehlschlag, selbst wenn andere perfekt sind“, kommen wir der im Artikel erwähnten „um Größenordnungen strengeren Evaluierung“ einen Schritt näher. Die Bestehensquote von 1/8 ist schmerzhaft, aber dieser Schmerz ist der Ausgangspunkt für Verbesserungen.
Fazit
„KI ist bereits intelligent genug.“
— Deshalb ist die nächste Schlacht, wer die Arbeit, die der intelligenten KI anvertraut wird, bewertet und wie.
Frankle sagte, dies sei ein 10-Jahres-Job.
Dinge, die 10 Jahre dauern, werden zu einem Unterscheidungsmerkmal, je früher man beginnt. Und der Start selbst war an einem Tag mit einem KI-Agenten möglich.
In meinem Unternehmen (AI Brain Partners) helfen wir beim Aufbau dieses „KI-Nutzungsmessungs- und Evaluierungs“-Systems durch Claude Code-spezialisierte Unternehmensschulungen und KI-Beratung. Wenn Sie sich fragen: „Was passiert eigentlich mit unserer KI-Nutzung?“, schauen Sie bitte in die folgenden Links.
- KI-Agenten-Training für Unternehmen: https://ai-agent.camp/ja/lab/corporate-training
- Kostenloser Report „Wie man KI in Unternehmen einführt“: https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Originalartikel: ITmedia AI+ „Der Engpass bei der KI-Nutzung verlagert sich auf Evaluierung und Governance“ 6. Juli 2026)
