Harness Engineering: Was jeder KI-Ingenieur im Jahr 2026 wissen muss

@sairahul1
ENGLISCHvor 2 Monaten · 07. Juni 2026
1.1M
1.0K
177
54
3.3K

TL;DR

Dieser Leitfaden untersucht Harness Engineering, die Disziplin des Jahres 2026 zur Entwicklung von BeschrÀnkungen und Feedbackschleifen, die rohe KI-Modelle in zuverlÀssige Produktionssysteme verwandeln.

Im Februar 2026 hat ein kleines OpenAI-Team 1 Million Zeilen Produktionscode ausgeliefert.

Keine einzige Zeile wurde von Hand geschrieben.

Die KI-Agenten haben es geschrieben.

Die Menschen haben das System entworfen, das die Agenten zuverlÀssig gemacht hat.

Dieses System hat jetzt einen Namen.

Harness Engineering.

Innerhalb weniger Wochen veröffentlichte Anthropic 3 Arbeiten dazu.

ThoughtWorks formalisierte ein Framework.

Philipp Schmid von Hugging Face nannte es „die wichtigste Disziplin des Jahres 2026."

Eine neue Ingenieurdisziplin materialisierte sich in 90 Tagen.

Und fast niemand außerhalb von KI-Infrastrukturteams versteht sie bisher.

Dieser Artikel erklÀrt alles.

Kein Blabla. Kein akademisches Fachchinesisch. Nur die Denkmodelle, die Sie brauchen, um das tatsÀchlich zu nutzen.

Speichern Sie sich das. Sie werden es zweimal lesen.

TEIL 1: WAS EIN HARNESS EIGENTLICH IST (Das Konzept, das Ihre Denkweise ĂŒber KI verĂ€ndert)

1. Die Harness-Definition

Rahul - inline image

Die einfachste Definition stammt von ThoughtWorks:

→ Agent = Modell + Harness

Der Harness ist alles, was nicht das Modell ist.

Die EinschrÀnkungen, die den Agenten auf Kurs halten. Die Feedbackschleifen, die Fehler abfangen. Die Dokumentation, die dem Agenten sagt, wo er ist. Die Werkzeuge, die er verwenden darf.

Ohne Harness → ein reines Sprachmodell, das sich durch Ihre Codebasis rĂ€t.

Mit dem richtigen Harness → ein System, das Produktionscode ausliefert.

Der Name kommt vom Pferdegeschirr.

Ein Kumt ist das Zaumzeug, der Sattel und das Gebiss, die ein kraftvolles, aber unberechenbares Tier in eine nĂŒtzliche Richtung lenken.

Man macht das Pferd nicht klĂŒger. Man entwirft die AusrĂŒstung, die seine StĂ€rke nutzbar macht.

2. Die Betriebssystem-Analogie

Rahul - inline image

Philipp Schmid lieferte die beste technische Einordnung:

Stellen Sie es sich wie einen Computer vor.

→ Modell = CPU (reine Rechenleistung)

→ Kontextfenster = RAM (begrenzter, flĂŒchtiger Arbeitsspeicher)

→ Harness = Betriebssystem (verwaltet, was die CPU sieht und wann)

→ Agent = Die Anwendung die darauf lĂ€uft

Ihr Modell ist leistungsstark.

Aber ohne ein Betriebssystem, das den Speicher verwaltet, Aufgaben plant und Regeln durchsetzt – ist es nur Silizium.

Die meisten Leute betreiben Anwendungen ohne Betriebssystem.

Deshalb scheitern ihre Agenten in der Produktion.

3. Was sich 2026 geÀndert hat

Rahul - inline image

LangChain ließ dasselbe Modell zweimal auf Terminal Bench 2.0 laufen.

Gleiches Modell. Anderer Harness.

→ Alter Harness: 52,8 % Punktzahl

→ Neuer Harness: 66,5 % Punktzahl

Vercel ging den umgekehrten Weg.

Sie entfernten 80 % der Werkzeuge ihres Agenten.

Ergebnis? Bessere Leistung.

Nicht schlechter.

Die unbequeme Wahrheit des Jahres 2026:

→ Der Agent war nie der schwierige Teil.

→ Der Harness ist es.

Wenn 2025 das Jahr war, in dem KI-Agenten bewiesen haben, dass sie Code schreiben können


dann ist 2026 das Jahr, in dem wir entdeckt haben, dass die Umgebung wichtiger ist als das Modell.

TEIL 2: DIE 5 HARNESS-ARTEFAKTE (Wie ein Harness in der Praxis tatsÀchlich aussieht)

4. AGENT.md / CLAUDE.md Dateien

Rahul - inline image

Das universellste Harness-Artefakt.

Markdown-Dateien, die ĂŒber Ihre gesamte Codebasis verteilt sind.

Der Agent liest sie zu Beginn jeder Sitzung – wie EinfĂŒhrungsdokumente fĂŒr einen neuen Ingenieur im Team.

Was kommt hinein:

→ Projektkontext

→ Programmierkonventionen

→ Architekturentscheidungen

→ Leitfaden „Wie wir die Dinge hier machen"

→ Was gerade in Arbeit ist

OpenAI nennt sie AGENT.md.

Anthropic nennt sie CLAUDE.md.

Cursor verwendet .cursorrules.

Verschiedene Namen. Gleiches Prinzip.

Eine Datei pro Hauptmodul. Aktualisiert, wÀhrend das Projekt wÀchst.

Ohne sie: Der Agent beginnt jede Sitzung blind. Mit ihnen: Der Agent beginnt jede Sitzung informiert.

5. JSON-Funktionslisten (Der Fortschritts-Tracker)

Rahul - inline image

Wenn ein Agent eine ganze App ĂŒber mehrere Sitzungen hinweg erstellt, beginnt er jede Sitzung mit einem leeren Kontextfenster.

Woher weiß er, was schon erledigt ist?

Eine JSON-Datei.

Jeder Eintrag definiert:

→ Eine Funktion

→ Wie man ĂŒberprĂŒft, ob sie funktioniert

→ Status „Bestanden" / „Nicht bestanden"

Der Agent liest dies zu Sitzungsbeginn. WÀhlt die höchstpriorisierte, nicht bestandene Funktion aus. Implementiert sie. Markiert sie als bestanden. Macht einen Commit. Wiederholt.

Warum JSON und nicht Markdown?

Anthropic hat herausgefunden, dass Agenten JSON weniger wahrscheinlich versehentlich ĂŒberschreiben als Markdown.

Kleines Detail. Macht bei 6-stĂŒndigen autonomen LĂ€ufen einen großen Unterschied.

6. Sitzungsinitialisierungsroutinen

Rahul - inline image

Jede Sitzung beginnt auf die gleiche Weise.

Jedes. Einzelne. Mal.

Anthropics 7-stufige Startsequenz:

  1. Arbeitsverzeichnis bestÀtigen
  2. Git-Protokolle und Fortschrittsdateien lesen
  3. Funktionsliste auf das höchstpriorisierte unvollstĂ€ndige Element prĂŒfen
  4. Dev-Server starten
  5. Grundlegende End-to-End-ÜberprĂŒfung durchfĂŒhren
  6. Eine Funktion implementieren
  7. Commit mit beschreibender Nachricht + Fortschrittsaktualisierung

Ohne dies:

Verschwendet der Agent seine ersten 20 Minuten damit, herauszufinden, was bereits existiert.

Jede Sitzung erfindet das Rad neu.

Damit:

Startet der Agent sofort informiert und geht direkt zur Arbeit ĂŒber.

7. Sprint-VertrÀge (Sprint Contracts)

Rahul - inline image

Bevor der Agent auch nur eine einzige Zeile Code schreibt:

Verhandeln zwei Agenten.

Generator-Agent schlÀgt vor:

→ Was er bauen wird

→ Wie der Erfolg ĂŒberprĂŒft wird

Evaluator-Agent prĂŒft:

→ Ist der Vorschlag vollstĂ€ndig?

→ Sind die Erfolgskriterien klar?

Erst wenn beide zustimmen, beginnt die Implementierung.

Es ist ein Design-Review.

Nur dass beide Teilnehmer KI sind.

Warum ist das wichtig?

Agenten, die im selben Durchgang planen und ausfĂŒhren, produzieren unzuverlĂ€ssige Ergebnisse.

Der Planungsschritt – selbst wenn von KI durchgefĂŒhrt – verbessert die AusgabequalitĂ€t dramatisch.

8. Strukturierte Aufgabenbausteine (Structured Task Templates)

Rahul - inline image

Vor jeglicher Codierung:

Analysiert der Harness die reale Codebasis.

Er erstellt eine fundierte Auswirkungskarte:

→ Echte Dateipfade (nicht halluzinierte)

→ Reale Symbolnamen, die tatsĂ€chlich existieren

→ Vorhandene Muster, denen man folgen kann

→ Konkrete Abnahmekriterien

Dann beginnt die Implementierung.

Das klingt offensichtlich.

Aber die meisten Teams ĂŒberspringen es.

Der Agent rÀt bei Dateistrukturen. Erfindet API-Endpunkte, die nicht existieren. Baut etwas, das nicht in die Codebasis passt.

Fundierter Kontext vor der AusfĂŒhrung → massiv bessere Ergebnisse.

TEIL 3: DIE DREI LAGER (Drei Teams trafen auf dieselbe Wand – und bauten drei verschiedene Leitern)

9. OpenAI: Umgebung zuerst

Rahul - inline image

Das Codex-Team von OpenAI hatte ein absurdes Problem.

1 Million Zeilen Produktionscode. Keine einzige von Hand geschrieben.

In diesem Maßstab kann man nicht jede Zeile code-reviewen.

Also taten sie es nicht.

Stattdessen:

Gestalteten sie die Umgebung so grĂŒndlich, dass die Agenten ĂŒberhaupt erst ĂŒberprĂŒfbare Ergebnisse produzierten.

Ihr Ansatz:

→ Strenge AbhĂ€ngigkeitsflĂŒsse (Typen → Konfiguration → Repository → Service → Laufzeit → UI)

→ AGENT.md-Dateien in der gesamten Codebasis

→ Agenten direkt in CI/CD-Pipelines integriert

Die Philosophie: Gestalte die Umgebung. Lass dann den Agenten los.

Der Beweis: Sora Android App. 4 Ingenieure. 28 Tage. Platz 1 im Play Store. 99,9 % absturzfrei.

Codex erledigte wöchentlich 70 % der internen Pull-Requests.

10. Anthropic: Trenne den Macher vom Richter

Rahul - inline image

Anthropic hatte ein anderes Problem.

Als sie den Agenten baten, seine eigene Leistung zu bewerten:

Lobte er selbstbewusst die Arbeit.

Selbst wenn die QualitĂ€t fĂŒr einen menschlichen Beobachter offensichtlich mittelmĂ€ĂŸig war.

Selbstevaluation funktioniert nicht.

Der Agent war sowohl der SchĂŒler als auch der Lehrer.

Und er gab sich selbst glatte Einsen.

Ihre Lösung: Drei spezialisierte Agenten.

→ Planer – verwandelt einen 2-Satz-Prompt in ein vollstĂ€ndiges Produktpflichtenheft

→ Generator – implementiert Funktionen einen Sprint nach dem anderen

→ Evaluator – testet die laufende App mittels Browserautomatisierung wie ein echter Benutzer

Die Erkenntnis: Es ist weitaus einfacher, einen eigenstĂ€ndigen Evaluator skeptisch zu machen, als einen Generator kritisch gegenĂŒber der eigenen Arbeit.

Ergebnis: Solo-Agent (kein Harness): 9 $, 20 Min.

→ defekte App VollstĂ€ndiger Harness: 200 $, 6 Std.

→ funktionierende Software mit polierter BenutzeroberflĂ€che

11. ThoughtWorks: Das 2×2-Framework

Rahul - inline image

ThoughtWorks kam aus einem anderen Blickwinkel.

Sie bauten kein Produkt.

Sie beobachteten, wie 50+ Engineering-Teams an denselben Dingen scheiterten.

Ihre Erkenntnis: Klassifiziere jede Harness-Steuerung entlang zweier Achsen.

Achse 1: Wann lÀuft sie?

→ Vorausschauend (Feedforward) = bevor der Agent handelt (Leitplanken)

→ RĂŒckblickend (Feedback) = nachdem der Agent handelt (Sensoren)

Achse 2: Wie funktioniert sie?

→ Rechnerisch = deterministisch, Millisekunden (Linter, TypprĂŒfer, Testsuiten)

→ Inferenziell = verwendet ein LLM, Sekunden (Code-Review-Agent, semantische Analyse)

Das 2×2:

→ Rechnerisch vorausschauend: Typsysteme, Linter, Architekturregeln

→ Rechnerisch rĂŒckblickend: Testsuiten, Codeabdeckungsanalyse, Mutationstests

→ Inferenziell vorausschauend: Spezifikationsdokumente, EinschrĂ€nkungsbeschreibungen

→ Inferenziell rĂŒckblickend: LLM-Code-Reviewer, Verhaltensvalidierer

Weder Vorausschau noch RĂŒckblick allein funktioniert.

Sie brauchen beides.

TEIL 4: DIE 5 PRINZIPIEN, AUF DIE SICH ALLE LAGER EINIGEN (Drei Teams haben nie koordiniert. Sie sind unabhÀngig voneinander hier angekommen.)

12. Prinzip 1: Kontext schlÀgt Anweisungen

Rahul - inline image

OpenAI: „Gib eine Karte, kein 1000-seitiges Handbuch."

Anthropic: JSON-Funktionslisten und Fortschrittsdateien, damit Agenten immer wissen, wo sie sind.

Red Hat: Analysiere die reale Codebasis, bevor du Aufgaben generierst.

ThoughtWorks: „Vorausschauend (Feedforward)."

Verschiedene Worte. Dieselbe Entdeckung.

Dem Agenten den aktuellen Zustand der Welt zu zeigen, ist durchweg besser, als ihm abstrakt zu sagen, was er tun soll.

→ Fundiert in echten Dateipfaden Code, der zur Codebasis passt Ausgehend von einer vagen Beschreibung → halluzinierte Dateipfade und erfundene APIs

Die Lehre: Bevor der Agent irgendetwas tippt, stellen Sie sicher, dass er genau weiß, wo er ist.

13. Prinzip 2: Planung und AusfĂŒhrung mĂŒssen getrennt werden

Rahul - inline image

OpenAI: Menschen gestalten die Umgebung, Agenten fĂŒhren aus.

Anthropic: Ein eigener Planer-Agent lĂ€uft, bevor der Generator auch nur Code anrĂŒhrt.

ThoughtWorks: Ein obligatorischer menschlicher PrĂŒfpunkt zwischen Planung und Implementierung.

Red Hat: Phase 1 (Auswirkungskarte) und Phase 2 (Implementierung) mit einer harten Trennung dazwischen.

Jedes Lager entdeckte dies unabhÀngig voneinander:

Einen Agenten im selben Durchgang planen und ausfĂŒhren zu lassen, produziert unzuverlĂ€ssige Ergebnisse.

Der Planungsschritt muss nicht von einem Menschen durchgefĂŒhrt werden.

Aber es muss ein separater Schritt sein, dessen Ergebnis ĂŒberprĂŒft wird, bevor die Implementierung beginnt.

14. Prinzip 3: Feedbackschleifen sind nicht verhandelbar

Rahul - inline image

OpenAI: Agenten in CI/CD- und Beobachtbarkeitssysteme eingebunden.

Anthropic: Eigener Evaluator-Agent, der Browserautomatisierung nutzt.

ThoughtWorks: Als „Sensoren" formalisiert. Warnte davor, dass rein vorausschauende AnsĂ€tze nie bestĂ€tigen, ob die Leitplanken tatsĂ€chlich funktionieren.

Drei AnsĂ€tze fĂŒr dasselbe Prinzip:

→ OpenAI verwendet automatisierte Tests und CI

→ Anthropic verwendet ein anderes LLM

→ ThoughtWorks sagt, verwende beide, geschichtet

Sie sind sich uneinig, wer das Feedback liefert.

Sie sind sich nicht uneinig, ob man es braucht.

Ein Harness ohne Feedback ist nur ein Prompt mit zusÀtzlichen Schritten.

15. Prinzip 4: Eine Sache nach der anderen

Rahul - inline image

OpenAI: Zerbricht Ziele in kleinere Bausteine, arbeitet tiefensuche.

Anthropic: Erzwingt eine Funktion pro Sprint mit einem Commit nach jedem.

ThoughtWorks: Abgestufter Lebenszyklus (Vor-Integration → Nach-Integration → kontinuierliche Überwachung).

Agenten, die gleichzeitig zu viel tun wollen:

→ Verlieren den Kontext

→ Verlieren an KohĂ€renz

→ Lassen Anforderungen stillschweigend fallen

Die Anthropic-Routine:

Fortschritt lesen → EINE Funktion auswĂ€hlen → Implementieren → Commit → Wiederholen

Erzwungener Inkrementalismus ist universell in jedem erfolgreichen Harness.

16. Prinzip 5: Die Codebasis IST die Dokumentation

Rahul - inline image

OpenAI: Bettet AGENT.md-Dateien im Repository ein.

Anthropic: Speichert Funktionslisten, Fortschrittsdateien und Git-Verlauf als KontinuitÀtsmechanismus des Agenten.

ThoughtWorks: Misst die „Harness-FĂ€higkeit" – wie lesbar die Codebasis fĂŒr Agenten ist.

Niemand unterhĂ€lt eine separate Wissensbasis fĂŒr den Agenten.

Das Repository ist die einzige Quelle der Wahrheit.

Wenn eine Konvention, EinschrĂ€nkung oder Architekturentscheidung nicht in der Codebasis steht – wird der Agent nichts davon wissen.

Praktische Konsequenz:

→ Teams, die in Code-Organisation investieren, erhalten bessere Agentenleistung kostenlos dazu.

→ Unordentliche Repositorys + KI-Agenten = Chaos, aber im großen Stil.

TEIL 5: DAS PARADOXON — BAUEN, UM ZU LÖSCHEN (Die kontraintuitivste Wahrheit im Harness Engineering)

17. Harness-Verfall ist real

Rahul - inline image

Als Anthropic von Opus 4.5 auf Opus 4.6 upgradete:

Die Sprint-Zerlegung – die zuvor essentiell war – wurde zum Ballast.

Die verbesserte PlanungsfĂ€higkeit des Modells machte sie ĂŒberflĂŒssig.

Eine Harness-Komponente, die im MĂ€rz tragend war, war im April nur noch Overhead.

Dann kam Opus 4.7.

Das Modell begann, seine eigenen Ausgaben zu verifizieren.

Die Stellenbeschreibung des Evaluator-Agenten begann zu schrumpfen.

Das ist Harness-Verfall.

Jede Komponente in einem Harness kodiert eine Annahme darĂŒber, was das Modell nicht kann.

Verbessern sich die Modelle → verfallen diese Annahmen → die Komponente wird zum Overhead.

Opus 4.5: Sprint-Zerlegung + Sprint-fĂŒr-Sprint-Evaluierung

Opus 4.6: Keine Sprint-Zerlegung + Single-Pass-Evaluierung (spart 38 % Kosten)

Opus 4.7: Modell beginnt mit Selbstverifizierung → Evaluator-Rolle schrumpft weiter

18. Bauen, um zu löschen

Rahul - inline image

Philipp Schmids Rat:

„Baue, um zu löschen."

Gestalte jede Harness-Komponente so, dass sie entfernbar ist.

Teste jede Komponente regelmĂ€ĂŸig, indem du sie ausschaltest und misst, ob sich die AusgabequalitĂ€t Ă€ndert.

Wenn sie sich nicht Àndert: Lösche sie.

Manus hat seinen Harness in 6 Monaten 5 Mal umgebaut. LangChain hat ihn in 1 Jahr 3 Mal umstrukturiert. Vercel entfernte 80 % der Werkzeuge → erzielte bessere Leistung.

Das sind keine Zeichen schlechter Ingenieursarbeit.

Sie sind die natĂŒrliche Konsequenz des Bauens auf schnell besser werdenden Modellen.

Tote Harness-Komponenten mit sich herumzutragen, kostet bei jedem einzelnen Lauf Tokens. Null zusÀtzliche QualitÀt. Reine Verschwendung.

19. Die KosteneffektivitÀt

Rahul - inline image

Die ehrlichen Zahlen aus Anthropics A/B-Test:

→ Solo-Agent (kein Harness): 9 $, 20 Minuten

→ funktionierende UI, defekte KernfunktionalitĂ€t

→ VollstĂ€ndiger Harness (Opus 4.5): 200 $, 6 Stunden

→ funktionierende Software, polierte UI, korrekte Physik

Das ist eine Kostensteigerung um das 22-fache.

Ob das teuer oder gĂŒnstig ist, hĂ€ngt ganz davon ab, was ein fehlerhaftes Release Ihr Team kostet.

Aber hier ist, worĂŒber niemand spricht:

Die Harness + Modell-Kombination entwickelt sich weiter.

Der 200 $-Harness wurde mit einem Modell-Upgrade zu 124 $.

Der Trend:

→ Besseres Modell = einfacherer Harness = gĂŒnstigerer Lauf = schnellere Ausgabe

Die Ingenieure, die 2026 gewinnen, schreiben nicht den besten Code.

Sie entwerfen die besten EinschrÀnkungen.

Und sind dann bereit, diese EinschrÀnkungen wegzuwerfen, sobald sie ihren Wert nicht mehr verdienen.

ABSCHLUSS

Rahul - inline image

Alles, was Sie gerade gelernt haben:

Was ein Harness ist:

→ 1. Agent = Modell + Harness

→ 2. Modell = CPU. Harness = Betriebssystem.

→ 3. Gleiches Modell, besserer Harness = +13 % Leistung

Die 5 Harness-Artefakte:

→ 4. CLAUDE.md / AGENT.md – EinfĂŒhrungsdokumente fĂŒr Agenten

→ 5. JSON-Funktionslisten – Fortschritts-Tracker und Testsuite in einem

→ 6. Sitzungsinitialisierungsroutinen – jedes Mal der gleiche 7-stufige Start

→ 7. Sprint-VertrĂ€ge – Agenten verhandeln vor dem Codieren

→ 8. Strukturierte Aufgabenbausteine – echte Dateipfade, echte Muster

Die drei Lager:

→ 9. OpenAI: Gestalte die Umgebung, lass den Agenten los

→ 10. Anthropic: Trenne den Macher vom Richter

→ 11. ThoughtWorks: 2×2 Vorausschau-/RĂŒckblick-Framework

Die 5 universellen Prinzipien:

→ 12. Kontext schlĂ€gt Anweisungen

→ 13. Planung und AusfĂŒhrung mĂŒssen getrennt werden

→ 14. Feedbackschleifen sind nicht verhandelbar

→ 15. Eine Sache nach der anderen

→ 16. Die Codebasis ist die Dokumentation

Das Paradoxon:

→ 17. Harness-Verfall – was letzten Monat funktioniert hat, schadet diesen Monat

→ 18. Bauen, um zu löschen – tote Komponenten testen und entfernen

→ 19. Die KosteneffektivitĂ€t – besseres Modell = einfacherer Harness = gĂŒnstigerer Lauf

Die Ingenieure, die 2026 gewinnen, schreiben nicht den besten Code.

Sie entwerfen die besten EinschrÀnkungen.

Und sind bereit, diese EinschrÀnkungen wegzuwerfen, sobald sie ihren Wert nicht mehr verdienen.

Falls das nĂŒtzlich war:

→ Teilen Sie den Beitrag, um Entwickler in Ihrem Netzwerk zu erreichen

→ Folgen Sie @sairahul1 fĂŒr mehr davon jede Woche

→ Merken Sie sich das – Sie werden es nachschlagen, wenn Ihre Agenten anfangen, sich schlecht zu benehmen

Ich schreibe ĂŒber KI, Produktentwicklung und was 2026 wirklich funktioniert.

Mit einem Klick speichern

Virale Artikel mit YouMind per KI tief lesen

Speichere die Quelle, stelle gezielte Fragen, fasse die Argumentation zusammen und verwandle einen viralen Artikel in wiederverwendbare Notizen in einem einzigen KI-Arbeitsbereich.

YouMind entdecken
FĂŒr Creator

Verwandle dein Markdown in einen sauberen 𝕏-Artikel

Wenn du eigene Langtexte veröffentlichst, wird die 𝕏-Formatierung von Bildern, Tabellen und Codeblöcken mĂŒhsam. YouMind macht aus einem ganzen Markdown-Entwurf einen sauberen, sofort postbaren 𝕏-Artikel.

Markdown zu 𝕏 testen

Mehr Muster zum EntschlĂŒsseln

Aktuelle virale Artikel

Mehr virale Artikel entdecken