Ich habe versehentlich 1,5 Millionen Yen für Claude ausgegeben: Wichtige Einstellungen, um ein KI-Kosten-Desaster zu verhindern

Mach das erstmal

• Claude Team Organization monatliche Nutzungslimits setzen (offensichtlich)
• Dienstspezifische Limits für Claude Code Review festlegen
• Claude Code Review-Trigger von "pro Push" auf "einmalig" ändern
• Wenn möglich, Kreditkartentransaktionslogs in einen bestimmten Kanal streamen und gelegentlich prüfen (so ist mir das diesmal aufgefallen)
• Guardrails und Sicherheitsvorkehrungen gründlich implementieren

Claude Team Organization Monatliches Nutzungslimit

Unter https://claude.ai/admin-settings/usage

In Enterprise lassen sich noch granularere Limits als nur monatlich setzen, daher lohnt es sich, diese zu nutzen.

Claude Code Review Dienstspezifisches Limit

Unter https://claude.ai/admin-settings/usage

Claude Code Review-Trigger von "pro Push" auf "einmalig" ändern

Unter https://claude.ai/admin-settings/usage

Was passiert ist

An einem ruhigen Samstagabend breitete sich ein Gefühl der Unruhe in der Organisation aus.

1,5 Millionen Yen wurden in Claude Code Review abgesaugt. 😇

Warum es passiert ist

Um zum Punkt zu kommen, Folgendes geschah:

Claude Code Review wird ausgeführt

↓

Review-Kommentare werden hinzugefügt

↓

AI Agent (Codex/Claude, etc.) entscheidet, ob eine Korrektur nötig ist

↓

AI Agent korrigiert und committed/pusht bei Bedarf

↓

Claude Code Review wird durch den Push erneut ausgelöst

↓

Rebase/Force Push propagiert zu nachfolgenden Stacked PRs

↓

Claude Code Review wird auch bei nachfolgenden PRs ausgeführt

↓

Wiederhole bis ins Unendliche ♾️

In dem Repository, das wir entwickeln, haben wir Claude Code Review eingeführt, das automatisch Code für GitHub PRs reviewt. Außerdem haben wir diesmal AI Agents verwendet, um relativ große Änderungen zu bewältigen, indem wir sie in mehrere PRs aufteilten und diese linear von Upstream zu Downstream stapelten. (Eine solche Serie von PRs nennt man Stacked PR). Claude Code Review ist zudem ein Pay-as-you-go-Dienst, der auf Token-Nutzung basiert.

Stacked PR

feat/branch-1 (PR 1)

↓

feat/branch-2 (PR 2)

↓

feat/branch-3 (PR 3)

↓

…

↓

feat/branch-N (PR N)

Rückblickend betrug der durchschnittliche Kosten dieser Reviews $25,81 pro Review 😱

Selbst im offiziellen Anthropic Blog wird erklärt, dass Code Review auf tiefgehende Reviews abzielt und teurer sein wird als leichtere Optionen wie Claude Code GitHub Action, aber so viel hätte ich nie erwartet...

Dieses Mal haben wir mehrere Stacked PRs erstellt, während wir lokal mehrere AI Agents verwendeten, um groß angelegte Änderungen vorzunehmen. Claude Code Review wird zum Zeitpunkt der Erstellung dieser PRs ausgeführt. Normalerweise würde ein Mensch den Review-Inhalt prüfen und entscheiden, ob er darauf eingeht, aber diesmal haben wir – in der Annahme, dass ein Mensch die finale Prüfung übernimmt – die primäre Reaktion, einschließlich der Entscheidung, ob auf den Review eingegangen wird, dem AI Agent überlassen.

Tiefergehende Analyse des Problems

1. Durchführung komplexer Funktionen mit mehreren Stacked PRs

Diese Aufgabe beinhaltete relativ große Änderungen. Wir haben sie in mehrere PRs aufgeteilt, weil alles in einen PR zu packen das Review erschwert und die Reihenfolge der Veröffentlichung berücksichtigt werden muss. Die Aufteilung der PRs war nicht der Fehler. Das Problem war, dass es lineare Stacked PRs waren.

Bei Stacked PRs müssen nachgelagerte PRs die Änderungen aus einem korrigierten vorgelagerten PR übernehmen. Mit anderen Worten: Ein Push zum vorgelagerten PR führt zu einer Rebase/Push-Propagation zu den nachgelagerten PRs.

Diese Struktur war inkompatibel mit der Claude Code Review-Einstellung, die bei jedem Push ausgelöst wird.

2. Die Review-Antwort vollständig der KI überlassen

Da bei jedem Push Reviews ausgeführt wurden und die Review-Kommentare zunahmen, haben wir dem AI Agent folgende Aufgaben zugewiesen:

• Ungelöste Review-Kommentare prüfen
• Entscheiden, ob darauf eingegangen oder sie übersprungen werden
• Bei Bearbeitung: Korrektur durchführen und lokale Tests bestehen
• Commit/Push
• Auf Review-Kommentare antworten und sie als erledigt markieren
• Nach dem Pushen eine Weile auf zusätzliche Reviews achten

Das ursprüngliche Ziel war, dass die KI-Antwort auf Vorschläge abgeschlossen ist, wenn ich die Funktionsprüfung und das Review durchführe.

Hätten wir sichergestellt, dass ein Mensch die endgültige Entscheidung über die Reaktionsstrategie für Review-Kommentare trifft, hätten wir dies wahrscheinlich verhindern können.

3. Es lief auch nach Feierabend weiter

Ich habe den obigen Prozess auch nach Feierabend laufen lassen und überwacht, aber ich hätte ihn spätestens bei Arbeitsende stoppen sollen. Das ist ein klarer Punkt zur Selbstreflexion.

Da ich den lokalen AI Agent im Abonnement nutzte, war das Gefühl, dass die API-Kosten in diesem Moment stiegen, gering. Auf der anderen Seite verbrauchte Claude Code Review, das auf der GitHub-Seite lief, die Anthropic-Organisationsnutzung. In der Anthropic Console wurden die durchschnittlichen Kosten für das Ziel-Repository mit $25,81/Review angezeigt. Diese Kosteneinschätzung zu unterschätzen, war ebenfalls ein Punkt zur Reflexion.

Ich habe eine Situation geschaffen, in der Pay-as-you-go-KI über einen langen Zeitraum ausgeführt wurde, während eine Diskrepanz zwischen den gefühlten lokalen Kosten und den tatsächlichen abgerechneten Kosten bestand.

Was schiefgelaufen ist

1. Die Einstellung "bei jedem Push auslösen" für teure Reviews zu leichtfertig genommen

Diesmal war die Einstellung in der Anthropic Console, dass Reviews bei jedem Push ausgeführt werden. Während die Funktion, bei jedem Push zu reviewen, praktisch ist, können Vorschläge bei jeder Änderung häufig sein, daher sollten Trigger sorgfältig abgewogen werden.

2. Fehleinschätzung der Kompatibilität zwischen Stacked PRs und automatisierten Reviews

Stacked PRs sind eine effektive Methode, um PRs in reviewbare Einheiten aufzuteilen. Allerdings erfordert die Korrektur eines vorgelagerten PRs ein Rebase der nachgelagerten PRs. Und das Pushen zum nachgelagerten PR löste dort ebenfalls ein Review aus. Was ein Review für einen PR gewesen wäre, propagierte sich zu N PRs in einem Stacked PR, und Reviews wurden für diese Menge ausgeführt.

3. Beurteilung, Korrektur und Push an die KI delegiert

KI zur Organisation von Review-Kommentaren oder lokalen Korrekturen zu verwenden, ist sehr praktisch. Diesmal haben wir ihr jedoch zu viel Autorität gegeben. Die Schleife des Sehens eines Review-Kommentars, des Bearbeitens, des Pushens und des erneuten Überwachens hätte mit expliziter menschlicher Bestätigung betrieben werden sollen.

4. Das Organisationslimit als letzte Verteidigungslinie

Als Ergebnis wurde fast das Organisationslimit erreicht, und dort haben wir die Anomalie bemerkt. Ein Limit zu haben, war an sich gut. Allerdings waren $10.000 zu hoch für eine letzte Verteidigungslinie. Auch aufgrund des Einflusses von aktivierter zusätzlicher Nutzung und des Reflexionszeitpunkts erreichten die kumulierten monatlichen Organisationskosten an fast einem einzigen Tag über $10.000. Wir brauchten Guardrails, die viel früher stoppen.

Zusammenfassung

Ich habe an einem Tag 1,5 Millionen Yen mit Claude Code Review verbrannt. Ich schicke gerade eine Rückerstattungsanfrage. Die Ursache war, dass während Claude Code Review so eingestellt war, dass es bei jedem Push ausgelöst wird, die Kombination aus KI-Agent-Korrekturen/Pushes und der Rebase-Kette von Stacked PRs eine Schleife von Reviews und Korrekturen erzeugte.

Diesmal haben wir zu viel von der Bequemlichkeit der KI-gesteuerten Entwicklung in Anspruch genommen und Sicherheits- und Kosten-Guardrails vernachlässigt. Bisher war es eine Phase, in der wir KI einfach nutzen konnten, daher wurden verschiedene Agenten relativ günstig bereitgestellt, aber ich denke, wir treten jetzt in eine Phase ein, in der sie uns als Geschäft ordentlich Geld abnehmen werden, da wir die Vorteile kennen.

Wir erfinden gerade die Entwicklungsorganisation für das KI-Zeitalter neu. https://supateam.com/ Wir werden diese Erfahrung auf jeden Fall nutzen.