Tôi vô tình chi 1,5 triệu Yên cho Claude: Các cài đặt thiết yếu để tránh thảm họa hóa đơn AI

Để ngăn chặn những tai nạn tương tự xảy ra.

Tôi sẽ rất vui nếu mọi người có thể đọc bài viết này để 1,5 triệu yên của chúng ta có ý nghĩa!!! 🥺

Làm những điều này ngay bây giờ

• Đặt giới hạn sử dụng hàng tháng của tổ chức Claude Team (rõ ràng là vậy)
• Đặt giới hạn cho từng dịch vụ của Claude Code Review
• Thay đổi kích hoạt Claude Code Review từ "mỗi lần push" thành "một lần"
• Nếu bạn có thể stream nhật ký giao dịch thẻ tín dụng đến một kênh cụ thể, hãy để mắt đến chúng (đây là cách tôi phát hiện ra lần này)
• Triển khai triệt để các guardrail và dây an toàn

Cài đặt giới hạn sử dụng hàng tháng của tổ chức Claude Team

Từ https://claude.ai/admin-settings/usage

Trong Enterprise, bạn có thể đặt các giới hạn chi tiết hơn chỉ là hàng tháng, vì vậy hãy tận dụng chúng.

Giới hạn cho từng dịch vụ của Claude Code Review

Từ https://claude.ai/admin-settings/usage

Thay đổi kích hoạt Claude Code Review từ "mỗi lần push" thành "một lần"

Từ https://claude.ai/admin-settings/usage

Chuyện gì đã xảy ra

Vào một tối thứ Bảy yên bình, một cảm giác bất an lan khắp tổ chức.

1,5 triệu yên đang bị rút vào Claude Code Review. 😇

Tại sao nó xảy ra

Để đi thẳng vào kết luận, những điều sau đã xảy ra:

Claude Code Review chạy

↓

Các bình luận đánh giá được thêm vào

↓

AI Agent (Codex/Claude, v.v.) xác định xem có cần sửa không

↓

AI Agent sửa và commit/push nếu cần

↓

Claude Code Review chạy lại do push kích hoạt

↓

Rebase/force push lan truyền đến các Stacked PR tiếp theo

↓

Claude Code Review cũng chạy trên các PR tiếp theo

↓

Lặp lại vô tận ♾️

Trong kho lưu trữ chúng tôi đang phát triển, chúng tôi đã giới thiệu Claude Code Review, công cụ tự động đánh giá mã cho các PR trên GitHub. Ngoài ra, lần này chúng tôi đã sử dụng các AI agent để xử lý các thay đổi tương đối lớn bằng cách chia chúng thành nhiều PR và xếp chúng tuyến tính từ upstream đến downstream. (Một loạt các PR như vậy được gọi là Stacked PR). Hơn nữa, Claude Code Review là dịch vụ trả tiền theo mức sử dụng dựa trên lượng token.

Stacked PR

feat/branch-1 (PR 1)

↓

feat/branch-2 (PR 2)

↓

feat/branch-3 (PR 3)

↓

…

↓

feat/branch-N (PR N)

Nhìn lại, chi phí trung bình của các lần đánh giá này là $25.81 mỗi lần 😱

Ngay cả trên blog chính thức của Anthropic, họ giải thích rằng Code Review nhắm đến các đánh giá sâu và sẽ đắt hơn các tùy chọn nhẹ như Claude Code GitHub Action, nhưng tôi không bao giờ tưởng tượng nó lại nhiều đến thế...

Lần này, để thực hiện các thay đổi quy mô lớn, chúng tôi đã tạo nhiều Stacked PR trong khi sử dụng nhiều AI agent cục bộ. Claude Code Review được thực thi tại thời điểm các PR này được tạo. Thông thường, một người sẽ kiểm tra nội dung đánh giá và quyết định có xử lý hay không, nhưng lần này, với giả định rằng con người sẽ kiểm tra cuối cùng, chúng tôi đã ủy thác phản hồi chính—bao gồm cả việc đánh giá có nên xử lý đánh giá hay không—cho AI agent.

Đi sâu vào vấn đề

1. Tiến hành các tính năng phức tạp bằng nhiều Stacked PR

Nhiệm vụ này liên quan đến các thay đổi tương đối lớn. Chúng tôi chia nó thành nhiều PR vì đưa mọi thứ vào một PR sẽ gây khó khăn cho việc đánh giá và xem xét thứ tự phát hành. Việc chia PR không phải là sai lầm. Vấn đề là chúng là các Stacked PR tuyến tính.

Trong Stacked PR, nếu bạn sửa một PR upstream, các PR downstream phải tích hợp những thay đổi đó. Nói cách khác, push lên upstream gây ra rebase/push lan truyền xuống downstream.

Cấu trúc này không tương thích với cài đặt Claude Code Review kích hoạt mỗi lần push.

2. Giao phó hoàn toàn phản hồi đánh giá cho AI

Vì các đánh giá chạy mỗi lần push và bình luận đánh giá ngày càng tăng, chúng tôi đã giao các nhiệm vụ sau cho AI agent:

• Kiểm tra các bình luận đánh giá chưa được giải quyết
• Quyết định có xử lý hay bỏ qua chúng
• Nếu xử lý, sửa và vượt qua các bài kiểm tra cục bộ
• Commit/push
• Trả lời bình luận đánh giá và giải quyết chúng
• Theo dõi các đánh giá bổ sung trong một thời gian sau khi push

Mục tiêu ban đầu là để phản hồi của AI đối với các gợi ý được hoàn thành vào thời điểm tôi thực hiện kiểm tra hoạt động và đánh giá.

Nếu chúng tôi đảm bảo rằng con người đưa ra quyết định cuối cùng về chính sách phản hồi cho các bình luận đánh giá, chúng tôi có thể đã ngăn chặn được điều này.

3. Nó tiếp tục chạy ngay cả sau giờ làm việc

Tôi đã chạy và giám sát quy trình trên ngay cả sau giờ làm việc, nhưng ít nhất tôi nên dừng nó khi kết thúc công việc. Đây là một điểm hoàn toàn cần suy ngẫm.

Vì tôi sử dụng AI agent cục bộ theo gói đăng ký, cảm giác rằng chi phí API đang tăng lên ngay lúc đó rất mờ nhạt. Mặt khác, Claude Code Review chạy trên phía GitHub đang tiêu thụ mức sử dụng tổ chức Anthropic. Trên Anthropic Console, chi phí trung bình cho kho lưu trữ mục tiêu được hiển thị là $25.81/lần đánh giá. Đánh giá thấp cảm giác chi phí này cũng là một trong những điểm cần suy ngẫm.

Tôi đã tạo ra một tình huống mà AI trả tiền theo mức sử dụng được thực thi trong một thời gian dài trong khi có khoảng cách giữa chi phí cục bộ cảm nhận và chi phí thực tế bị tính.

Điều gì đã sai

1. Xem nhẹ cài đặt "kích hoạt mỗi lần push" cho các đánh giá đắt đỏ

Lần này, cài đặt Anthropic Console là để các đánh giá chạy mỗi lần push. Mặc dù tính năng đánh giá mỗi lần push rất tiện lợi, nhưng các gợi ý có thể thường xuyên với mỗi thay đổi, vì vậy cần cân nhắc kỹ lưỡng các kích hoạt.

2. Đánh giá sai khả năng tương thích giữa Stacked PR và đánh giá tự động

Stacked PR là một cách hiệu quả để chia PR thành các đơn vị có thể đánh giá. Tuy nhiên, sửa một PR upstream yêu cầu rebase các PR downstream. Và push lên PR downstream cũng kích hoạt một đánh giá ở đó. Điều lẽ ra chỉ là một lần đánh giá cho một PR đã lan truyền đến N PR trong một Stacked PR, và các đánh giá đã được thực thi với số lượng đó.

3. Ủy thác phán đoán, sửa chữa và push cho AI

Sử dụng AI để tổ chức các bình luận đánh giá hoặc sửa chữa cục bộ rất tiện lợi. Tuy nhiên, lần này chúng tôi đã trao cho nó quá nhiều quyền hạn. Vòng lặp xem bình luận đánh giá, xử lý nó, push và giám sát lại nên được vận hành với sự xác nhận rõ ràng của con người.

4. Biến giới hạn tổ chức thành tuyến phòng thủ cuối cùng

Kết quả là, nó đã đạt gần giới hạn tổ chức, và đó là lúc chúng tôi nhận thấy sự bất thường. Việc có giới hạn tự nó là tốt. Tuy nhiên, $10,000 là quá cao cho một tuyến phòng thủ cuối cùng. Ngoài ra, do ảnh hưởng của việc bật sử dụng bổ sung và thời gian phản ánh, chi phí tổ chức hàng tháng tích lũy đã đạt hơn $10,000 trong gần một ngày. Chúng tôi cần các guardrail dừng lại sớm hơn nhiều.

Tổng kết

Tôi đã đốt 1,5 triệu yên trong một ngày với Claude Code Review. Tôi hiện đang gửi yêu cầu hoàn tiền. Nguyên nhân là trong khi Claude Code Review được đặt kích hoạt mỗi lần push, sự kết hợp giữa sửa chữa/push của AI agent và chuỗi rebase của Stacked PR đã tạo ra một vòng lặp đánh giá và sửa chữa.

Lần này, chúng tôi đã tận dụng quá nhiều sự tiện lợi của phát triển dựa trên AI và bỏ qua các guardrail an toàn và chi phí. Cho đến nay, đó là giai đoạn chỉ cho phép chúng tôi sử dụng AI, vì vậy các agent khác nhau được cung cấp tương đối rẻ, nhưng tôi nghĩ chúng ta đang bước vào giai đoạn họ sẽ thu tiền chúng ta một cách thích đáng như một doanh nghiệp khi chúng ta đã biết lợi ích.

Chúng tôi hiện đang tái tạo tổ chức phát triển cho kỷ nguyên AI. https://supateam.com/ Chúng tôi sẽ đảm bảo tận dụng kinh nghiệm này.