Im letzten Monat haben die Coding-Agenten, die ich entwickle, 13 Milliarden Tokens zwischen Input und Output verarbeitet, mit einer Cache-Trefferquote von 97,24 % und effektiven Kosten von etwa R$ 0,04 pro Million Tokens.
Wenn ich diese Zahlen nenne, ist die erste Reaktion meist Misstrauen – und das ist gesund. Kosten sind der Hauptgrund, warum Unternehmen autonome Agenten aufgeben: Der Pilot funktioniert, die Rechnung kommt, das Projekt stirbt. Dieser Artikel erklärt also, wie diese Zahlen zustande kommen. Es gibt keinen einzelnen Trick; es gibt eine Architektur, bei der jedes eingehende und ausgehende Token komprimiert, geroutet und gemessen wird.
Das ist Velua Code, der Agent, den wir bei einem neuen Startup bauen, das ich gründen wollte, Velua AI (https://velua.aihttps://velua.ai/)). Vor der Architektur kommt die These.
Die These: Drei Probleme, gemeinsam gelöst
Coding-Agenten versagen an drei Stellen, und nur eine zu lösen reicht nicht.
Kosten. Ein autonomer Agent verbraucht Tokens in einem Ausmaß, das jeden CFO erschreckt. Wenn jede Iteration teuer ist, lässt niemand den Agenten iterieren – und ein Agent, der nicht iteriert, löst eigentlich nichts.
Kontext. Das Kontextfenster ist begrenzt und teuer. Die typische Implementierung füllt den Prompt mit ganzen Dateien und Grep-Ergebnissen und bezahlt bei jedem Aufruf für Tausende irrelevanter Tokens.
Gedächtnis. Jede Sitzung beginnt bei null. Der Agent entdeckt am Dienstag wieder, was er am Montag bereits gelernt hat – und bezahlt (in Tokens und Fehlern) dafür, es wiederzuentdecken.
Die drei bedingen sich gegenseitig: Ein aufgeblähter Kontext erhöht die Kosten, fehlendes Gedächtnis bläht den Kontext auf. Deshalb geht Velua Code alle drei gleichzeitig an.
Kosten: Quellkompression + Aktives Routing
Die erste Architekturentscheidung: Kontext an der Quelle komprimieren, nicht am Ende. Jede Tool-Ausgabe – Dateilesen, Suchergebnisse, Build-Logs – durchläuft eine Komprimierungspipeline, bevor sie in die Sitzungshistorie eingeht. Der Kern ist ein proprietäres Komprimierungsmodell, das lokal in ONNX auf dem Rechner des Entwicklers oder im Container des Agenten läuft. Es gibt keinen Netzwerkaufruf zum Komprimieren: Die Einsparungen kosten keine Tokens.
Dar um herum erledigen einfachere Schichten die Hauptarbeit: Deduplizierung von Lesevorgängen (hat der Agent dieselbe Datei nochmal gelesen? Die alte Version verlässt den Kontext), strukturelle JSON-Komprimierung, Auslassung von Codekörpern unter Beibehaltung von Signaturen, und eine adaptive Schwelle, die die Komprimierung verstärkt, wenn der Kontext wächst. Alles wird mit dem tatsächlichen Tokenizer des Zielmodells gemessen – Einsparungen werden in echten Tokens gezählt, nicht in Schätzungen.
Und es gibt eine Entscheidung, was nicht zu tun ist: Wir rühren den System-Prompt zur Laufzeit nie an. Ein stabiler Prompt ist es, der die Cache-Trefferquote von 97,24 % aufrechterhält – und Cache-Treffer sind der günstigste Kostenhebel, der existiert, weil ein gecachter Token nur einen Bruchteil eines vollen Tokens kostet.
Die zweite Entscheidung: Der Agent wählt das Modell nicht selbst. Ein lokaler Klassifikator klassifiziert jede Aufgabe nach Kategorie und Komplexität, und das Velua Gateway – das 50+ Modelle mit Echtzeit-Preis und Leistung sieht – routet zum leistungsfähigsten Modell innerhalb des Notwendigen, zusätzlich zu Absicherungen und Anreicherung mit RAG. Eine Variable umzubenennen braucht kein Spitzenmodell; eine Schema-Migration zu entwerfen schon. Mit aktivem Routing gehen die meisten Aufrufe an kleinere Modelle, und das teure kommt nur zum Einsatz, wenn die Komplexität es erfordert.
Das Gateway misst auch die tatsächlichen Kosten jeder Anfrage. Das ermöglicht etwas, das ich für Produktionsagenten als nicht verhandelbar betrachte: Budget als Abbruchbedingung. Die autonome Schleife läuft mit einem Kostenlimit in Währung, nicht mit Hoffnung.
Es ist die Kombination – Quellkompression, hohe Cache-Treffer, Routing zwischen kleineren Modellen – die die R$ 0,04 pro Million ergibt. Keines der drei Teile allein kommt auch nur annähernd daran.
Kontext: Ein Graph statt Grep
Die Standardmethode für einen Agenten, eine Codebasis zu „verstehen", ist Grep und Dateilesen – teuer und blind. Velua Code unterhält einen Code-Wissensgraphen: Funktionen, Klassen, Routen und die Beziehungen zwischen ihnen (wer ruft wen auf, wer implementiert was).
Das ändert beide Enden der Schleife. Beim Input stellt der Agent ein schlankes Kontextpaket zusammen, indem er den Graphen konsultiert – die Architekturansicht des Projekts und die für die Aufgabe relevanten Knoten –, anstatt Dateien in den Prompt zu kippen. Beim Output ändert sich die Verifikation: Wenn der Agent eine Funktion ändert, listet der Graph genau die betroffenen Aufrufstellen auf, und ein Reviewer-Agent – mit sauberem Kontext, ohne die Voreingenommenheit des Code-Autors – überprüft jede von ihnen, zusätzlich zu Tests, Lint und Build. „Du hast die Signatur von processOrder geändert; sieben Stellen rufen sie auf" ist eine Art von Verifikation, die Grep nicht liefert.
Gedächtnis: Die Schleife, die lernt
Das Stück, das das System schließt. Am Ende jeder verifizierten Iteration zeichnet der Agent Engineering-Entscheidungen auf: was entschieden wurde, warum, welche Alternativen in Betracht gezogen wurden, was fehlgeschlagen ist. Und jede Entscheidung ist mit den Code-Knoten verknüpft, die sie erklärt, innerhalb des Graphen selbst.
In der nächsten Iteration ruft die Kontextsammelphase diese Entscheidungen ab – einschließlich Ansätze, die bereits fehlgeschlagen sind, um sie nicht zu wiederholen. Die Schleife ist kein Ausführer mehr, der Aufgaben wiederholt, sondern wird zu einem System, das Wissen über die Codebasis ansammelt. Es ist auch der beste Kostenamortisierer, den es gibt: Günstiges Gedächtnis ersetzt teures Wiederentdecken.
Die vollständige Schleife also: Kontext sammeln (Graph + Gedächtnis + RAG), mit dem richtigen Modell für die Problemgröße planen, mit Sub-Agenten handeln, mit einem Reviewer mit sauberem Kontext und Graph-Bewusstsein verifizieren, lernen durch Aufzeichnen von Entscheidungen – und wiederholen, mit einem Kostenlimit. Es ist die kanonische Agenten-Schleife, bei der jede generische Phase durch eine eigene Fähigkeit ersetzt wird.
Warum der erste Kunde wir selbst sind
Die Produktstrategie ist bewusst kontraintuitiv: Bevor wir an irgendeinen Kunden verkaufen, läuft Velua Code intern bei der SIGE Cloud. Echtes Dogfooding – ein ERP in Produktion, mit echten Teams, die täglich Agenten auf echtem Code betreiben.
Es war diese interne Nutzung, die die 13 Milliarden Tokens generiert hat, und sie formt das Produkt. Autonome Agenten in der Produktion offenbaren Probleme, die kein Benchmark offenbart: Berechtigungen, akkumulierte Kosten, Aufgaben, die ins Stocken geraten, Kontext, der verrottet. Ich lasse es lieber dort reifen, wo der Schmerz unser eigener ist.
Was als Nächstes kommt: Einheitliches Gedächtnis für Unternehmen
Heute lebt das Entscheidungsgedächtnis pro Projekt. Der nächste Schritt ist das, was mich am meisten begeistert: Es auf eine einheitliche Engineering-Gedächtnisschicht für Unternehmen zu heben.
Stell dir vor, die Entscheidung, die der Agent von Team A aufgezeichnet hat – „wir sind zu X migriert wegen Y; wir haben Z vermieden, weil es W kaputt gemacht hat" – abrufbar durch den Agenten von Team B und durch die menschlichen Entwickler, die diese Agenten betreiben, mit Zugriffskontrolle, Herkunft und Prüfung. Die Frage „Warum ist dieser Code so?" wird mit der ursprünglichen Entscheidung beantwortet, verknüpft mit dem Code, für jeden oder jeden Agenten in der Organisation. Schnelleres Onboarding, Konsistenz zwischen Teams, und das technische Wissen des Unternehmens lebt nicht mehr nur in den Köpfen der Menschen.
Vom Gateway bereitgestellt, wird dieses Gedächtnis zur Infrastruktur: Jeder Agent im Unternehmen, in jedem Tool, erbt das angesammelte Wissen.
Autonome Agenten werden eine Ware sein. Das Wissen, das sie über
dein
System ansammeln, wird es nicht.
Das ist die Wette.
Wenn du mit Agenten in der Produktion arbeitest – oder dir den Kopf über Kontextkosten zerbrichst – meine DMs sind offen.
