मैंने गलती से Claude पर 1.5 मिलियन येन खर्च कर दिए: AI बिलिंग आपदा से बचने के लिए आवश्यक सेटिंग्स

इसी तरह की दुर्घटनाओं को रोकने के लिए।

मुझे खुशी होगी अगर हर कोई इसे पढ़े ताकि हमारे 1.5 मिलियन येन का कुछ मतलब निकले!!! 🥺

अभी के लिए ये करें

• Claude Team संगठन के मासिक उपयोग की सीमाएँ सेट करें (स्पष्ट रूप से)
• Claude Code Review के लिए प्रति-सेवा सीमाएँ सेट करें
• Claude Code Review ट्रिगर को "per push" से "once" में बदलें
• यदि आप क्रेडिट कार्ड लेन-देन लॉग को किसी विशिष्ट चैनल पर स्ट्रीम कर सकते हैं, तो उन पर नज़र रखें (इसी तरह मैंने इस बार ध्यान दिया)
• गार्डरेल और हार्नेस को पूरी तरह से लागू करें

Claude Team संगठन मासिक उपयोग सीमा सेटिंग

https://claude.ai/admin-settings/usage से

Enterprise में, आप मासिक से अधिक granular सीमाएँ सेट कर सकते हैं, इसलिए उनका उपयोग करना उचित है।

Claude Code Review प्रति-सेवा सीमा

https://claude.ai/admin-settings/usage से

Claude Code Review ट्रिगर को "per push" से "once" में बदलें

https://claude.ai/admin-settings/usage से

क्या हुआ

एक शांत शनिवार की शाम, संगठन में बेचैनी की भावना दौड़ गई।

1.5 मिलियन येन Claude Code Review में खर्च हो रहे थे। 😇

ऐसा क्यों हुआ

सीधे निष्कर्ष पर आते हुए, निम्नलिखित हो रहा था:

Claude Code Review चलता है

↓

समीक्षा टिप्पणियाँ जोड़ी जाती हैं

↓

AI एजेंट (Codex/Claude, आदि) यह निर्धारित करता है कि फिक्स आवश्यक है या नहीं

↓

AI एजेंट फिक्स करता है और यदि आवश्यक हो तो कमिट/पुश करता है

↓

पुश द्वारा ट्रिगर होकर Claude Code Review फिर से चलता है

↓

Rebase/force push बाद के Stacked PRs में फैलता है

↓

Claude Code Review बाद के PRs पर भी चलता है

↓

अनंत तक दोहराएँ ♾️

हम जिस रिपॉजिटरी में विकास कर रहे हैं, उसमें हमने Claude Code Review शुरू किया है, जो GitHub PRs के लिए स्वचालित रूप से कोड की समीक्षा करता है। इसके अलावा, इस बार हम अपेक्षाकृत बड़े पैमाने पर बदलावों को संभालने के लिए AI एजेंटों का उपयोग कर रहे थे, उन्हें कई PRs में विभाजित करके और उन्हें अपस्ट्रीम से डाउनस्ट्रीम तक रैखिक रूप से स्टैक करके। (ऐसे PRs की श्रृंखला को Stacked PR कहा जाता है)। इसके अलावा, Claude Code Review टोकन उपयोग पर आधारित एक pay-as-you-go सेवा है।

Stacked PR

feat/branch-1 (PR 1)

↓

feat/branch-2 (PR 2)

↓

feat/branch-3 (PR 3)

↓

…

↓

feat/branch-N (PR N)

पीछे मुड़कर देखें, तो इन समीक्षाओं की औसत लागत $25.81 प्रति समीक्षा थी 😱

Anthropic के आधिकारिक ब्लॉग पर भी यह समझाया गया है कि Code Review का उद्देश्य गहन समीक्षा है और यह Claude Code GitHub Action जैसे हल्के विकल्पों की तुलना में अधिक महंगा होगा, लेकिन मैंने कभी नहीं सोचा था कि यह इतना होगा...

इस बार, बड़े पैमाने पर बदलाव करने के लिए, हमने स्थानीय रूप से कई AI एजेंटों का उपयोग करते हुए कई Stacked PRs बनाए। Claude Code Review इन PRs के बनने के समय निष्पादित होता है। सामान्यतः, एक मानव समीक्षा सामग्री की जाँच करेगा और तय करेगा कि इसे संबोधित करना है या नहीं, लेकिन इस बार, यह मानते हुए कि एक मानव अंतिम जाँच करेगा, हमने प्राथमिक प्रतिक्रिया—जिसमें समीक्षा को संबोधित करने का निर्णय भी शामिल है—AI एजेंट को सौंप दी थी।

समस्या की गहराई से जाँच

1. कई Stacked PRs का उपयोग करके जटिल सुविधाओं के साथ आगे बढ़ना

इस कार्य में अपेक्षाकृत बड़े बदलाव शामिल थे। हमने इसे कई PRs में विभाजित किया क्योंकि सब कुछ एक PR में डालने से समीक्षा करना मुश्किल हो जाता है और रिलीज़ ऑर्डर पर विचार करना पड़ता है। PRs को विभाजित करना गलती नहीं थी। समस्या यह थी कि वे रैखिक Stacked PRs थे।

Stacked PRs में, यदि आप एक अपस्ट्रीम PR को ठीक करते हैं, तो डाउनस्ट्रीम PRs को उन परिवर्तनों को शामिल करना होगा। दूसरे शब्दों में, अपस्ट्रीम पर पुश करने से डाउनस्ट्रीम में rebase/push प्रसार होता है। यह संरचना Claude Code Review सेटिंग के साथ असंगत थी जो हर पुश पर ट्रिगर होती है।

2. समीक्षा प्रतिक्रिया को पूरी तरह से AI पर छोड़ना

चूंकि समीक्षाएँ हर पुश पर चलती थीं और समीक्षा टिप्पणियाँ बढ़ रही थीं, हमने AI एजेंट को निम्नलिखित कार्य सौंपे:

• अनसुलझी समीक्षा टिप्पणियों की जाँच करें
• तय करें कि उन्हें संबोधित करना है या छोड़ना है
• यदि संबोधित कर रहे हैं, तो ठीक करें और स्थानीय परीक्षण पास करें
• कमिट/पुश करें
• समीक्षा टिप्पणियों का उत्तर दें और उन्हें हल करें
• पुश करने के बाद कुछ समय के लिए अतिरिक्त समीक्षाओं की निगरानी करें

मूल लक्ष्य यह था कि जब तक मैं ऑपरेशन चेक और समीक्षा करूँ, तब तक AI की सुझावों की प्रतिक्रिया पूरी हो जाए। यदि हमने यह सुनिश्चित किया होता कि एक मानव समीक्षा टिप्पणियों के लिए प्रतिक्रिया नीति पर अंतिम निर्णय लेता है, तो हम संभवतः इसे रोक सकते थे।

3. यह काम के घंटों के बाद भी चलता रहा

मैं काम के घंटों के बाद भी उपरोक्त प्रक्रिया चला रहा था और निगरानी कर रहा था, लेकिन मुझे कम से कम काम खत्म करते समय इसे रोक देना चाहिए था। यह पूरी तरह से आत्मचिंतन का बिंदु है।

चूंकि मैंने स्थानीय AI एजेंट का उपयोग सब्सक्रिप्शन के आधार पर किया, उस समय API लागत बढ़ने की भावना कम थी। दूसरी ओर, GitHub की ओर चलने वाला Claude Code Review Anthropic संगठन के उपयोग का उपभोग कर रहा था। Anthropic Console पर, लक्ष्य रिपॉजिटरी की औसत लागत $25.81/समीक्षा के रूप में प्रदर्शित की गई थी। इस लागत संवेदना को कम आंकना भी आत्मचिंतन के बिंदुओं में से एक था।

मैंने एक ऐसी स्थिति बनाई जहाँ pay-as-you-go AI लंबे समय तक निष्पादित हुआ, जबकि अनुमानित स्थानीय लागत और वास्तविक बिल की गई लागत के बीच अंतर था।

क्या गलत हुआ

1. महंगी समीक्षाओं के लिए "trigger on every push" सेटिंग को बहुत हल्के में लेना

इस बार, Anthropic Console सेटिंग समीक्षाओं को हर पुश पर चलाने के लिए थी। जबकि हर पुश पर समीक्षा करने की सुविधा सुविधाजनक है, हर बदलाव के साथ सुझाव बार-बार हो सकते हैं, इसलिए ट्रिगर्स पर सावधानीपूर्वक विचार किया जाना चाहिए।

2. Stacked PRs और स्वचालित समीक्षाओं के बीच संगतता का गलत आकलन

Stacked PRs PRs को समीक्षा योग्य इकाइयों में विभाजित करने का एक प्रभावी तरीका है। हालाँकि, एक अपस्ट्रीम PR को ठीक करने के लिए डाउनस्ट्रीम PRs के rebase की आवश्यकता होती है। और डाउनस्ट्रीम PR पर पुश करने से वहाँ भी एक समीक्षा ट्रिगर हुई। जो एक PR के लिए एक समीक्षा होती, वह Stacked PR में N PRs तक फैल गई, और उस मात्रा के लिए समीक्षाएँ निष्पादित की गईं।

3. निर्णय, फिक्सिंग और पुशिंग को AI को सौंपना

समीक्षा टिप्पणियों या स्थानीय फिक्स को व्यवस्थित करने के लिए AI का उपयोग करना बहुत सुविधाजनक है। हालाँकि, इस बार हमने इसे बहुत अधिक अधिकार दिया। समीक्षा टिप्पणी देखने, उसे संबोधित करने, पुश करने और फिर से निगरानी करने का लूप स्पष्ट मानव पुष्टि के साथ संचालित किया जाना चाहिए था।

4. संगठन सीमा को रक्षा की अंतिम पंक्ति बनाना

परिणामस्वरूप, यह संगठन सीमा के करीब पहुँच गया, और वहाँ हमने विसंगति देखी। एक सीमा होना अपने आप में अच्छा था। हालाँकि, रक्षा की अंतिम पंक्ति के लिए $10,000 बहुत अधिक था। साथ ही, सक्षम अतिरिक्त उपयोग और प्रतिबिंब समय के प्रभाव के कारण, संचयी मासिक संगठन लागत लगभग एक ही दिन में $10,000 से अधिक हो गई। हमें ऐसे गार्डरेल की आवश्यकता थी जो बहुत पहले रुक जाएँ।

सारांश

मैंने एक दिन में Claude Code Review के साथ 1.5 मिलियन येन पिघला दिए। मैं वर्तमान में रिफंड अनुरोध भेज रहा हूँ। इसका कारण यह था कि जबकि Claude Code Review हर पुश पर ट्रिगर करने के लिए सेट था, AI एजेंट फिक्स/पुश और Stacked PRs की rebase श्रृंखला के संयोजन ने समीक्षाओं और फिक्स का एक लूप बना दिया।

इस बार, हमने AI-संचालित विकास की सुविधा का बहुत अधिक लाभ उठाया और सुरक्षा और लागत गार्डरेल की उपेक्षा की। अब तक, यह हमें AI का उपयोग करने देने का चरण था, इसलिए विभिन्न एजेंट अपेक्षाकृत सस्ते में प्रदान किए गए, लेकिन मुझे लगता है कि हम एक ऐसे चरण में प्रवेश कर रहे हैं जहाँ वे एक व्यवसाय के रूप में हमसे उचित रूप से पैसा लेंगे, अब जब हम लाभ जानते हैं।

हम अब AI युग के लिए विकास संगठन का पुनर्निर्माण कर रहे हैं। https://supateam.com/ हम इस अनुभव का उपयोग करना सुनिश्चित करेंगे।