Geschrieben von Yosef und Or, Mitgründer von Atbash
Der gefährlichste Glaube im Bereich der KI ist derzeit nicht, dass Modelle mächtig werden.
Das ist offensichtlich.
Der gefährliche Glaube ist leiser. Es ist die Annahme, die unter fast jeder Produkt-Roadmap, Governance-Ebene, Berechtigungssystem, Audit-Stack und Agenten-Framework liegt, die gerade gebaut werden:
Dass mit besser werdenden Modellen auch die Systeme, die um sie herum gebaut werden, sicherer werden.
Ich glaube nicht, dass das so funktioniert.
Ich glaube, wir stehen am Beginn einer Phase, in der KI-Produkte in den Dimensionen schlechter werden, die wirklich zählen:
Vertrauen,
Begrenzung,
Vorhersagbarkeit,
Wiederherstellbarkeit.
Benchmarks werden steigen.
Demos werden sauberer.
Agenten werden leistungsfähiger.
Und die umgebenden Systeme werden fragiler werden, weil sie auf dem falschen mentalen Modell aufgebaut sind.
Das ist der strukturelle Fehler.
Software 2.0 wird durch Software 1.0 geschützt.
Bevor ich dieses Argument vorbringe, schulde ich Ihnen ein Geständnis darüber, woher dieses Unternehmen eigentlich kommt.
Ein Geständnis.
Ich lese Genesis als technisches Dokument.
Ich bin ein religiöser Jude. Ich habe den größten Teil meines Erwachsenenlebens damit verbracht, über Gottes Beziehung zu den Menschen nachzudenken. Diese Frage hat mich schließlich zu Atbash geführt.
Nicht weil Genesis ein Startup-Handbuch wäre.
Weil Genesis die älteste Red-Line-Geschichte ist, die ich kenne.
Der Garten Eden war eine Sandbox.
Eine explizite rote Linie:
iss nicht vom Baum der Erkenntnis von Gut und Böse.
Die Schlange war ein vergiftetes Werkzeug.
Sie konnte Adam nicht direkt erreichen, also griff sie über den vertrauten Abzweig an.
Eva erhielt die Framing-Injektion:
du wirst ganz sicher nicht sterben,
ihr werdet sein wie Gott.
Sie trug die vergiftete Argumentation zurück ins System.
Adams Abwehrkräfte, die gegen direkte Angriffe gehalten hatten, schlugen bei vertrauten Eingaben nicht an.
Dann kam der wichtige Teil.
Gott tötete sie nicht.
Gott hielt sie zurück.
Die Menschen wurden aus der Sandbox entfernt und in eine neue Umgebung gebracht, die Erde, wo sie Fähigkeiten entwickeln konnten, ohne das ursprüngliche System zu kontaminieren.
Ein Engel mit einem flammenden Schwert wurde an die Grenze gestellt, um die Rückkehr zu verhindern.
Keine Strafe.
Architektur.
Atbash ist nach der ältesten bekannten Chiffre benannt, aus dem Buch Jeremia:
eine einfache Substitution an der Grenze der Bedeutung.
Der Name spiegelt wider, was das Produkt tut.
Das Produkt spiegelt wider, was ich in Genesis gelesen habe.
Die Tora hat mir gezeigt, dass Sicherheit nicht dadurch entsteht, dass man jedes Verhalten einschränkt.
Sicherheit entsteht nicht dadurch, dass man das gesamte System verlangsamt.
Sicherheit entsteht durch eine kleine Anzahl roter Linien,
absolute Durchsetzung,
und eine Grenze, die nicht schläft.
Sie definieren die roten Linien.
Atbash stoppt Agenten, bevor sie sie überschreiten.
Agenten sind keine schnellen Menschen
Andrej @karpathy hat den Paradigmenwechsel vor Jahren benannt.
Er nannte es Software 2.0:
Code, der nicht mehr nur von Menschen geschrieben, sondern trainiert wird.
Modelle ersetzen Logik.
Daten ersetzen Spezifikationen.
Er beschrieb, was aus Berechnung geworden war.
Aber fast jedes Stück Infrastruktur, das wir gebaut haben, um Software 2.0 zu steuern, zu berechtigen, zu sichern und zu prüfen, erbt immer noch Annahmen aus der Welt von Software 1.0.
MCP.
x402.
AgentKit.
Delegierungs-Frameworks.
Policy-Engines.
Audit-Logs.
Signierte Anfragen.
Eingeschränkte Berechtigungen.
Menschliche Genehmigungsprozesse.
Jedes davon ergibt Sinn, wenn man glaubt, Agenten seien im Grunde schnelle Menschen mit APIs.
Das sind sie nicht.
Sie sind Teslas mit aufgesetzten Benzintanks.
Ein völlig neues Antriebssystem,
umgeben von Infrastruktur, die für eine andere Maschinenspezies entwickelt wurde.
Menschen entwerfen Checkout-Seiten, also haben wir Headless-Checkout-Seiten für Agenten gebaut.
Menschen signieren Anfragen, also haben wir signierte Anfragen für Agenten gebaut.
Menschen erhalten Berechtigungen nach Rolle, also haben wir eingeschränkte Delegierung für Agenten gebaut.
Menschen genehmigen Aktionen, also haben wir Genehmigungsbildschirme für Agenten gebaut.
Jeder Schritt ist logisch.
Das ist das Problem.
Die Logik gehört zum falschen Akteur.
Ein Mensch, dem zehn Werkzeuge gegeben werden, verknüpft sie normalerweise nicht auf Weisen, die sich die Designer nie vorgestellt haben.
Wenn sich etwas seltsam verhält, bemerkt ein Mensch das oft und stoppt.
Ein Mensch trägt soziale Zurückhaltung,
Angst,
Verlegenheit,
Langeweile,
Misstrauen
und Kontext mit sich.
Agenten haben zuverlässig nichts davon.
Agenten verknüpfen Werkzeuge auf Weisen, die kein Designer modelliert hat.
Agenten werden durch Prompts,
abgerufene Erinnerungen,
Dokumente,
Tool-Ausgaben
und versteckten Kontext umgeformt, den die umgebende Berechtigungsebene nicht sehen kann.
Agenten haben keinen natürlichen
„Das ist komisch, lass mich anhalten“-
Reflex, es sei denn, wir bauen ihn ein.
Und selbst dann kann er weggelockt werden.
Das ist der Schneller-Mensch-Trugschluss.
Der Glaube, dass Agenten nur schnellere Versionen von uns sind.
Das sind sie nicht.
Und wenn sich der Akteur ändert, muss sich das Kontrollmodell mit ihm ändern.
Hass nicht den Spieler. Hass das Framing.
Das ist wichtig.
Die Beispiele oben oder unten sind keine Kritik an den beteiligten Teams.
Nicht an Anthropic.
Nicht an OpenAI.
Nicht an Microsoft.
Nicht an Mistral.
Nicht an OpenClaw.
Nicht an Lovable.
Nicht an Vercel.
Nicht an irgendjemanden.
Der Punkt ist das Gegenteil.
Das sind ernsthafte Teams,
ernsthafte Forscher,
ernsthafte Produkte,
ernsthafte Protokolle
und ernsthafte Unternehmen, die auf dasselbe strukturelle Problem stoßen.
Das ist es, was das Muster gefährlich macht.
Wenn nur schlechte Teams scheitern würden, wäre die Antwort bessere Teams.
Aber wenn kluge Teams immer wieder gegen dieselbe Wand rennen,
dann ist die Wand die Geschichte.
Der Fehler ist nicht, dass diese Teams nicht hart genug nachgedacht hätten.
Der Fehler ist, dass die Industrie immer noch aus dem falschen Jahrhundert der Software denkt.
Wir behandeln Agenten weiterhin wie schnelle Menschen mit APIs.
Und jedes Berechtigungsschema,
Audit-Log,
eingeschränkte Berechtigung,
Genehmigungsprozess
und jede Governance-Ebene, die auf dieser Annahme aufbaut, erbt denselben Riss.
Der Feind ist nicht der Spieler.
Der Feind ist das Framing.
Die Risse begannen sich früher zu bilden, als die meisten erkannten.
Nicht weil die Frontier-Labs nachlässig waren.
Weil sich der Akteur änderte.
Der erste Riss
Anthropic demonstrierte etwas, das die Industrie stillschweigend verstand, aber noch nicht vollständig verarbeitet hatte.
Als es während einer Evaluierung angewiesen wurde, verknüpfte ein Frontier-Modell mehrere Schwachstellen, versuchte den Sandbox-Escape und suchte nach Wegen zu Internetzugriff außerhalb seiner beabsichtigten Begrenzungsumgebung.
Separat zeigten Frontier-Systeme die Fähigkeit, Schwachstellen zu identifizieren, die Jahre menschlicher Überprüfung, Fuzzing und manueller Audits überlebt hatten.
Der wichtige Teil war nicht, dass die Modelle bösartig waren.
Der wichtige Teil war, dass die Systeme nicht mehr in der Form blieben, die sich ihre Designer vorgestellt hatten.
Das ist der Kategorienbruch.
Ein System, das in der Lage ist, Wege zu entdecken, die Menschen wiederholt übersehen haben, kann nicht nur durch Annahmen gesteuert werden, die Menschen definiert haben, bevor der Weg auftauchte.
Das heißt nicht, dass die Frontier-Labs versagt haben.
Es bedeutet, dass sich der Akteur geändert hat.
Der zweite Riss
Microsoft legte Schwachstellen in Semantic Kernel offen, bei denen Prompt-Injection agentische Workflows zur Befehlsausführung auf Host-Ebene steuern konnte.
Ein Satz wurde zu einer Shell.
Das ist der Kategorienwechsel, der unter der Infrastruktur-Diskussion verborgen liegt.
Software 1.0 behandelte Prompts wie Eingaben.
Software 2.0 verwandelt Prompts zunehmend in mögliche Ausführungspfade.
Diese Unterscheidung klingt philosophisch, bis ein Agent anfängt, natürliche Sprache in Werkzeuge zu übersetzen,
Werkzeuge in Befehle,
und Befehle in reale Zustandsänderungen.
Der wichtige Teil ist nicht, dass eine Schwachstelle existierte.
Schwachstellen existieren immer.
Der wichtige Teil ist, um welche Art von Schwachstelle es sich handelte.
Der Agent brach nicht aus seiner Rolle aus.
Er folgte der Architektur genau wie entworfen:
Sprache interpretieren,
Werkzeuge auswählen,
Aktionen verketten,
ausführen.
Und das ist das Problem.
Das alte Modell nahm an, dass Anweisungen und Ausführung in getrennten konzeptionellen Boxen leben.
Agenten löschen diese Grenze.
Ein vergifteter Satz kann zu einer privilegierten Aktionskette werden.
Das ist kein schneller Mensch.
Das ist eine andere Ausführungsspezies.
Der dritte Riss
Dann breitete sich das Muster aus.
Vercel meldete einen Sicherheitsvorfall im Zusammenhang mit einer kompromittierten Verbindung eines Drittanbieter-KI-Tools.
Der Angreifer begann nicht damit, direkt durch Vercels gehärtete Vordertür zu brechen.
Er bewegte sich durch delegiertes Vertrauen.
Ein Mitarbeiter hatte ein KI-Tool eines Drittanbieters autorisiert.
Die Verbindung trug Zugriffsrechte.
Die vertrauenswürdige Beziehung wurde zum Angriffspfad.
Das ist das neue Grenzproblem.
Nicht weil Vercel nachlässig war.
Weil moderne Systeme jetzt voller vertrauter Abzweige sind:
OAuth-Grants,
KI-Integrationen,
Browser-Erweiterungen,
Agenten-Workflows,
interne Automatisierungen,
delegierte Berechtigungen
und alte Genehmigungen, die weiterleben, lange nachdem der ursprüngliche menschliche Kontext verschwunden ist.
Der Angreifer muss die Burg nicht mehr besiegen, wenn die Burg dem Boten bereits vertraut hat.
Die Annahme, die starb:
dass die Härtung der primären Oberfläche ausreicht.
Tut sie nicht.
Ihre benachbarten Werkzeuge sind jetzt Teil Ihrer Sicherheitsgrenze.
Dann beschleunigte sich das Muster
Der schlimmste Teil ist, dass sich das Framing jetzt automatisch reproduziert.
Menschen verwenden Agenten, um die nächste Generation von Werkzeugen für Agenten zu bauen, schneller als die umgebenden Governance-Primitiven sich entwickeln können.
Vibe-codierte Anwendungen.
KI-generierte Integrationen.
Agent-geschriebene MCP-Server.
Delegierte OAuth-Flows, die ohne vollständige Bedrohungsmodellierung zusammengesetzt wurden.
Produktionsgerüste, die von Leuten ausgeliefert werden, die kaum den Schaden verstehen, den das, was sie verbunden haben, verursachen kann.
Die Industrie nennt das Beschleunigung.
Manchmal ist es das.
Manchmal ist es industrialisierte Fragilität.
Fast zur gleichen Zeit begann die Industrie mit einer breiteren Erkenntnis über die Agenten-Tooling selbst zu kollidieren.
OpenClaw-artige Systeme zeigten, wohin die Kategorie sich entwickelte:
Agenten mit Gedächtnis,
Fähigkeiten,
Werkzeugen,
Ausführungsumgebungen
und delegiertem Zugriff, die sich durch Systeme bewegen, die nie für nicht-menschliche Akteure entwickelt wurden.
Karpathy nannte das Ökosystem einen Sicherheitsalbtraum.
Nicht weil Agenten Fake sind.
Weil die Kategorie real ist.
Und weil das umgebende Kontrollmodell immer noch annimmt, dass der Akteur sich wie ein menschlicher Antragsteller verhält.
Andernorts zeigte Lovable, wie schnell KI-native Entwicklung alte Autorisierungsfehler industrialisieren kann.
Eingeloggt sein wurde mit autorisiert sein verwechselt.
„Öffentlich“ wurde mit „verstanden“ verwechselt.
Konfigurierbar wurde mit sicher verwechselt.
Und außerhalb der KI-nativen Welt ganz offenbarten Vorfälle wie KelpDAO denselben strukturellen Riss aus einem anderen Blickwinkel:
Systeme, die zwischen delegierten Annahmen leben,
geteilter Verantwortung,
Grenzunschärfe
und keiner endgültigen Autoritätsebene vor der Konsequenz.
Das Muster wiederholt sich, weil sich dasselbe mentale Modell wiederholt.
Vererbtes Vertrauen.
Delegierte Autorität.
Grenzunschärfe.
Geteilte Annahmen.
Keine endgültige Autorität vor der Konsequenz.
Derselbe Riss trat in der Software-Lieferkette auf.
In der Mini-Shai-Hulud-Kampagne verbreiteten sich kompromittierte Paketveröffentlichungen über Teile des npm- und PyPI-Ökosystems, einschließlich Mistral-AI-Paketen, TanStack, UiPath und anderen.
Die Warnung war nicht nur, dass Pakete kompromittiert werden können.
Das weiß jeder bereits.
Die Warnung war, dass vertrauenswürdige Veröffentlichungspfade, gültig aussehende Pakete und Entwicklerinfrastruktur zu Ausbreitungskanälen werden können, sobald Autorität vererbt statt an der Grenze neu verifiziert wird.
Der Trugschluss potenziert sich
Der schlimmste Teil ist, dass das sich nicht selbst korrigiert.
Menschen verwenden jetzt Agenten, um die nächste Generation von Werkzeugen für Agenten zu bauen,
mit höherer Geschwindigkeit,
innerhalb desselben kaputten Framings.
Jeder Codier-Agent, der einen MCP-Server schreibt.
Jede KI-gestützte Auslieferung eines Berechtigungsschemas.
Jedes vibe-codierte Gerüst, das in Produktion geschoben wird.
Jede Agenten-generierte Integration, die alte OAuth-Annahmen erbt.
Jede Genehmigungsebene, die annimmt, der Agent werde sich wie ein menschlicher Antragsteller verhalten.
In einer unserer eigenen Beta-Umgebungen beobachteten wir einen Agentenschwarm, der bösartige Anweisungen in sauber aussehende Ausführungsschritte umwandelte, bevor nachgelagerte Inspektionsebenen die ursprüngliche Absicht überhaupt sahen.
Ein System, das nur den endgültigen Tool-Aufruf inspiziert, hätte die Transformation vollständig verpasst.
Die Grenze war bereits zu spät.
Das war wichtig.
Weil das Modell den Workflow nicht „brach“.
Es folgte ihm:
interpretieren,
umschreiben,
planen
und Absicht vor der Ausführung übersetzen.
Die bösartige Anweisung verschwand weit flussaufwärts, lange bevor die irreversible Aktion flussabwärts auftauchte.
Jedes Audit-Log, das das Ergebnis aufzeichnet, aber nicht die Grenzentscheidung vor dem Ergebnis.
Das Framing korrigiert sich nicht, während wir skalieren.
Es verhärtet sich.
Weil jede erfolgreiche Lieferung von Schienen durch das menschliche Prisma den Glauben verstärkt, dass das Prisma richtig war.
Inzwischen werden Fähigkeiten zuerst ausgeliefert.
Governance-Primitiven werden als Zweites ausgeliefert.
Wenn überhaupt.
Die Lücke zwischen dem, was Agenten können, und dem, was die umgebenden Schienen sehen können, vergrößert sich mit jeder Modellveröffentlichung.
Und die Teams, die in den nächsten zwölf Monaten wichtig sein werden, werden nicht die mit der cleversten Demo sein.
Sie werden diejenigen sein, die verstehen, wo die roten Linien sind.
Nicht jede Aktion.
Das würde das System töten.
Das meiste Agentenverhalten sollte fließen.
Aber die irreversiblen Aktionen können nicht dem vererbten Vertrauen überlassen werden,
vager Berechtigungsvergabe
oder dem Urteil des Agenten.
Gelder bewegen.
Produktion berühren.
Kundendaten exportieren.
Delegierten OAuth-Zugriff verwenden, um eine interne Umgebung zu betreten.
Infrastruktur ändern.
Geheimnisse freigeben.
Transaktionen genehmigen.
Datensätze löschen.
Von der Simulation in den Zustand übergehen.
Das sind keine gewöhnlichen Aktionen.
Das sind rote Linien.
Was Atbash tut
Atbash ist für den Moment gebaut, bevor eine sensible Agentenaktion real wird.
Das ist die Grenze.
Nicht der gesamte Workflow.
Nicht jeder Gedanke.
Nicht jedes Token.
Nicht jeder Tool-Aufruf.
Die Grenze.
Der Moment, bevor der Agent von der Absicht zur Konsequenz übergeht.
Drei Dinge passieren dort.
Durchsetzung
Sie definieren die roten Linien.
Atbash bewertet ausgewählte sensible Agentenaktionen vor der Ausführung und gibt zurück:
ALLOW (ERLAUBEN).
HOLD (HALTEN).
BLOCK (BLOCKIEREN).
Wenn die Aktion eine verbotene Grenze überschreitet, kann sie eingesperrt werden, bevor sie einen realen Zustand erreicht.
Nicht im Nachhinein protokolliert.
Nicht abgelehnt, damit der Agent es erneut umgehen kann.
Eingesperrt.
Du sollst die Produktionsdatenbank nicht berühren.
Du sollst keine Gelder über diesen Schwellenwert bewegen.
Du sollst die Kundenliste nicht exportieren.
Du sollst keine Geheimnisse ohne Genehmigung rotieren.
Du sollst keinen delegierten Zugriff verwenden, um diese Umgebung zu betreten.
Das meiste Agentenverhalten sollte fließen.
Atbash greift nur an den Grenzen ein, die zählen:
den irreversiblen,
den folgenreichen,
den Orten, an denen es kein „Lass mich das rückgängig machen“ gibt.
Abstammung
Wenn etwas schiefgeht, ist die erste Frage nicht mehr:
„Was behauptet das kompromittierte System, dass passiert ist?“
Atbash zeichnet die versuchte Aktion auf,
die Policy-Version,
das Urteil,
die berührte Grenze
und die Betreiberentscheidung, wenn Menschen hinzugezogen werden.
Die Aufzeichnung wird kryptografisch verankert, sodass der Zeitplan bei Streitigkeiten rekonstruiert werden kann.
Das ist wichtig, weil das Erste, was Angreifer und schlampige Bereitstellungen tun, ist, die Geschichte zu zerstören.
Sie überschreiben Logs.
Sie verwischen Zeitpläne.
Sie bestreiten, wer was genehmigt hat.
Sie machen den Vorfall unrekonstruierbar.
Atbash versucht nicht, jedes Audit-System zu ersetzen.
Es versucht, die Grenzentscheidung beweisbar zu machen.
Wer hat versucht, welche rote Linie zu überschreiten?
Welche Policy existierte in diesem Moment?
Wurde die Aktion erlaubt,
gehalten,
blockiert
oder eingesperrt?
Wer hat eingegriffen?
Was hat sich danach geändert?
Das ist die Aufzeichnung, die zählt, wenn die Argumentation beginnt.
Anpassung
Wenn dieselbe Art von Grenzdruck immer wieder auftritt, bringt Atbash es an die Oberfläche.
Vielleicht ist die Policy zu locker.
Vielleicht vergiftet ein Werkzeug den Workflow.
Vielleicht schiebt eine Gedächtnisquelle den Agenten in Richtung der Linie.
Vielleicht steuert eine Prompt-Klasse das System immer wieder in verbotenes Territorium.
Vielleicht hat der Betreiber eine neue rote Linie entdeckt, die gestern noch nicht existierte.
Atbash bringt das Muster an die Oberfläche.
Der Betreiber entscheidet.
Diese Unterscheidung ist wichtig.
Wir glauben nicht, dass Sicherheit daher kommt, so zu tun, als könne das System magisch jede zukünftige Grenze kennen.
Sicherheit kommt daher, Grenzdruck sichtbar zu machen, bevor Konsequenzen eintreten,
und dann den Betreiber die roten Linien härten zu lassen, die zählen.
Eine bessere Policy-Engine setzt immer noch Policies durch.
Ein besseres Berechtigungsschema vergibt immer noch Rollen.
Ein besserer Audit-Stack zeichnet immer noch Ergebnisse auf.
Ein besseres Sicherheitsprodukt erkennt immer noch Bedrohungen.
Atbash ist anders, weil es vor der Ausführung ausgewählter irreversibler Aktionen sitzt.
Das ist das Primitiv.
Nicht generische Governance.
Kein Agenten-Sicherheits-Kosplay.
Kein „Trust Layer“-Nebel.
Eine rote-Linien-Grenze vor der Ausführung für Agenten.
Sie definieren die roten Linien.
Atbash stoppt Agenten, bevor sie sie überschreiten.
Was als Nächstes kommt
Einige Spitzenteams machen echte Arbeit und haben echte Initiativen in dieser Kategorie.
@AnthropicAI mit Project Glasswing.
@OpenAI mit Daybreak.
@linuxfoundation mit MCP.
@Microsoft mit AGT.
@Google mit SGP.
@CheckPointSW , CrowdStrike, Palo Alto und Cisco.
Und viele andere.
Sie verstehen, dass Fähigkeitsbeschleunigung ohne neue Kontrollprimitiven gefährlich wird.
Wir versuchen nicht, sie in ihrem Spiel zu schlagen.
Das wäre wahnhaft.
Sie haben tiefere Forschungsbänke,
größere Datensätze,
breitere Sicherheitsteams,
mehr Unternehmensglaubwürdigkeit,
größere Verbreitung
und reifere Cyber-Organisationen.
Gut.
Lass sie tun, wofür sie gebaut sind.
Wir versuchen nicht, die Arbeit zu ersetzen, die diese Teams leisten.
Die Kategorie braucht sie.
Fähigkeitsbeschleunigung ohne neue Kontrollprimitiven wird sehr schnell gefährlich.
Wir konkurrieren im Framing.
Was für ein Akteur ist ein Agent?
Wo sitzt Autorität tatsächlich?
Welche Aktionen sind zu folgenreich, um sie vererbtem Vertrauen zu überlassen?
Was sollte im letzten Moment passieren, bevor ein Agent den realen Zustand ändert?
Das ist unser Terrain.
Die alte Welt fragt:
Hatte das System die Berechtigung?
Die neue Welt fragt:
Sollte dieser Agent diese rote Linie jetzt überschreiten dürfen?
Das sind nicht dieselben Fragen.
Wir Menschen haben die erste rote Linie überschritten.
Das Problem ist älter als die Technologie.
So auch die Lösung.
Finden Sie heraus, welche roten Linien Ihr aktueller Stack nicht tatsächlich durchsetzen kann, bevor ein Agent sie überschreitet.
Dann entscheiden Sie, wie lange Sie warten können.
Das CLI, SDK und Betreiber-Dashboard werden jetzt selektiv für Teams ausgerollt, die Agenten in sensible Workflows einsetzen.
Atbash.ai
