Cách tích hợp Jev vào Grok Bot: Agent tốt nhất tôi từng xây dựng

Grok Bot cấp cho mỗi người dùng một máy tính đám mây và cho phép bot chạy shell trên đó. Hầu hết mọi người chỉ hướng nó vào các tác vụ rồi ngồi nhìn nó lặp đi lặp lại cùng một lỗi thất bại.

Bạn thêm một kỹ năng định tuyến (router skill), để nó ghi log trong một tuần trước khi được phép hành động, và luôn giữ sẵn một công tắc ngắt khẩn cấp (kill switch).

Cấu hình đúng cách thì các lần thử lại sẽ dừng lại trước khi chúng ngốn của bạn bất cứ thứ gì.

Dưới đây là toàn bộ quy trình thiết lập 👇

Trước khi bắt đầu, tôi có đăng các bài hướng dẫn đầy đủ trên Substack của mình: https://zodchiii.substack.com/ 🧠

Jev trả về kết quả như thế nào

Jev là mô hình System One của TypeSafe. Nó trả lời bằng một giá trị có kiểu dữ liệu thay vì văn bản thông thường, và cung cấp ba nguyên thủy (primitive):

• Choice chọn một phương án từ danh sách do bạn định nghĩa, rồi trả về lựa chọn, xác suất và độ tin cậy
• Score chấm điểm trạng thái dựa trên một bộ tiêu chí
• Noul trả lời xem một nhận định có đúng không, dưới dạng một con số từ 0 đến 1

Vì câu trả lời trả về dưới dạng một giá trị, bạn có thể ghi log, so sánh (diff) quyết định của hai tuần với nhau và phát lại chúng trên lưu lượng truy cập của ngày hôm qua.

Lời gọi trông như sau:

1from typesafe_sdk import Choice, TypeSafeClient
2
3with TypeSafeClient(model="jev-latest") as client:   # reads TYPESAFE_API_KEY
4    r = client.system_one(
5        state=f"goal: {goal}\ntask: {task_type}\nlast error: {err} x{repeats}",
6        questions={
7            "action": Choice(
8                instructions="What should the agent do next",
9                criteria={
10                    "proceed": "Nothing suggests the next step will fail",
11                    "reuse_cache": "A fresh artifact for this already exists",
12                    "stop_retry": "The same approach failed the same way",
13                    "research_capped": "Enough sources are already gathered",
14                    "ask_human": "The step sends, publishes, pays or deletes",
15                },
16            )
17        },
18    )
19
20print(r.choices["action"].choice, r.choices["action"].confidence)

Bộ định tuyến sẽ chọn một trong năm phương án đó và không có cách nào để trả lời bất kỳ điều gì khác.

Bước 1: lấy API key

Mở bảng điều khiển TypeSafe của bạn và tạo một API key. Đừng đưa nó vào khung chat, đừng đẩy lên repo và cũng đừng nhét vào bất kỳ skill nào mà bạn định chia sẻ.

Bước 2: đưa key vào máy tính

Hãy dùng luồng yêu cầu bí mật đã được che (masked secret request flow). Key sẽ không bao giờ đi qua khung chat.

Một điều cần biết trước khi bạn thêm nó: máy tính đám mây của Grok Bot chỉ có một máy duy nhất cho mỗi tài khoản, và mọi bot bạn chạy trên đó đều thấy chung các tệp, phiên làm việc và thông tin đăng nhập. Key bạn đặt ở đó thì tất cả chúng đều đọc được.

1Tôi cần cung cấp cho bạn một thông tin xác thực API của TypeSafe. Hãy dùng luồng yêu cầu bí mật đã được che, không dùng khung chat. Giá trị này phải được lưu thành biến môi trường TYPESAFE_API_KEY trên máy tính của bạn, và tuyệt đối không được xuất hiện trong bất kỳ tệp, log, skill hay repo nào mà bạn tạo ra. Chỉ cần xác nhận lại rằng biến đã được thiết lập và có thể đọc được, không bao giờ được in ra giá trị của nó.

Bước 3: cài đặt SDK và kiểm tra nhanh

1Trên máy tính của bạn, hãy chạy: pip install typesafe-sdk
2
3Sau đó viết tệp /work/jev/smoke.py để mở TypeSafeClient(model="jev-latest") và gửi một lời gọi system_one với một câu hỏi Choice duy nhất. State: "goal: file a support ticket. task: routing. last error: none x0". Criteria: billing, technical, sales.
4
5Chạy nó và cho tôi xem đối tượng phản hồi thô: lựa chọn, xác suất và độ tin cậy. Nếu thiếu TYPESAFE_API_KEY, hãy dừng lại và báo cho tôi, đừng tự hardcode bất cứ thứ gì.

Bạn cần tìm ba thứ trong kết quả đầu ra: một giá trị nằm trong chính danh sách của bạn, phân bổ xác suất và một con số độ tin cậy. Nếu thiếu bất kỳ thứ nào trong đó, nghĩa là SDK đang giao tiếp với một thứ khác.

Bước 4: xây dựng bộ định tuyến

1Hãy xây dựng một module định tuyến tại /work/jev/router.py với một hàm duy nhất:
2
3    route(goal: str, task_type: str, last_error: str, repeats: int) -> dict
4
5Hàm này gửi chính xác bốn trường đó tới Jev làm state, kèm theo một câu hỏi Choice tên là "action" với các tiêu chí sau:
6
7  proceed          không có dấu hiệu nào cho thấy bước tiếp theo sẽ thất bại
8  reuse_cache      đã có sẵn một sản phẩm mới cho việc này
9  stop_retry       cùng một cách tiếp cận đã thất bại theo cùng một kiểu
10  research_capped  đã thu thập đủ nguồn tham khảo
11  ask_human        bước này liên quan đến việc gửi, xuất bản, thanh toán hoặc xóa
12
13Trả về lựa chọn, độ tin cậy và xác suất. Ghi nối tiếp mọi lời gọi vào /work/jev/decisions.jsonl kèm theo dấu thời gian, bốn tham số đầu vào và toàn bộ phản hồi. Đọc cấu hình hoạt động từ /work/jev/config.json với hai khóa: "enabled" và "mode" ("shadow" hoặc "active"). Mặc định là enabled false.
14
15Không thêm bất kỳ đoạn prompt nào vào state ngoài bốn trường đó. Cho tôi xem tệp trước khi bạn chạy nó.

Bốn trường đó là toàn bộ state mà Jev nhìn thấy. Nó không bao giờ nhận được prompt, repo hay cuộc hội thoại của bạn, nhờ vậy lời gọi luôn gọn nhẹ và log luôn dễ đọc.

Bước 5: thêm skill

1Tạo một skill tên là jev-usage-router.
2
3Điều kiện kích hoạt: trước mọi phiên duyệt web, mọi lượt nghiên cứu, mọi lần thử lại một bước bị lỗi, và trước khi sinh thêm một bot phụ.
4
5Các bước: gọi route() từ /work/jev/router.py với mục tiêu hiện tại, loại tác vụ, nội dung lỗi gần nhất và số lần nó lặp lại. Sau đó tuân thủ hành động được trả về:
6
7  proceed          tiếp tục như kế hoạch
8  reuse_cache      dùng sản phẩm đã có, bỏ qua phần việc đó
9  stop_retry       từ bỏ cách tiếp cận này và báo cáo lý do
10  research_capped  dừng lại ở 5 nguồn và viết tổng hợp những gì đã có
11  ask_human        tạm dừng và hỏi tôi, không được tự ý làm tiếp
12
13Ranh giới phê duyệt: ask_human không bao giờ được phép ghi đè, bất kể độ tin cậy cao đến đâu. Đầu ra: mỗi quyết định ghi một dòng trong báo cáo lượt chạy.

Hãy giữ bản gốc chuẩn của skill đó trong hệ thống quản lý mã nguồn của riêng bạn. Grok Bot chỉ lưu trữ 20 bản ghi lượt chạy gần nhất cho mỗi routine, nên hãy đẩy bất cứ thứ gì bạn quan tâm vào kho lưu trữ của mình ngay khi nó diễn ra.

Bước 6: chạy ở chế độ shadow trong một tuần

1Đặt /work/jev/config.json thành {"enabled": true, "mode": "shadow"}.
2
3Ở chế độ shadow, hãy gọi bộ định tuyến tại mọi điểm kích hoạt và ghi log quyết định, sau đó bỏ qua nó và làm những gì bạn vẫn thường làm. Đừng thay đổi bất cứ điều gì trong cách bạn hoạt động.
4
5Vào cuối mỗi ngày, hãy ghi nối tiếp vào /work/jev/report.md: số lượng lời gọi, tỷ lệ phân bổ hành động, độ tin cậy trung bình, và mọi trường hợp mà hành động được ghi log khác với những gì bạn thực sự đã làm.

Chế độ shadow tồn tại bởi vì một "trọng tài" giá rẻ đôi khi cũng phán đoán sai. Hãy đọc log để tìm những điểm bất đồng. Nếu stop_retry kích hoạt đối với một cách tiếp cận lẽ ra sẽ thành công ở lần thử thứ tư, bạn cần biết điều đó trước khi cho phép nó thực sự can thiệp.

Một tuần lưu lượng thực tế là đủ để đánh giá. Ngắn hơn thì mẫu quá nhỏ để rút ra kết luận gì.

Bước 7: chuyển sang active, nhưng vẫn giữ kill switch

1Đặt mode thành "active". Từ giờ trở đi, hãy tuân thủ hành động thay vì chỉ ghi log.
2
3Hai công tắc ngắt khẩn cấp luôn phải khả dụng với tôi mọi lúc:
4  1. Gõ "bypass jev" trong bất kỳ tin nhắn nào để bỏ qua bộ định tuyến trong lượt chạy đó
5  2. Đặt {"enabled": false} trong config.json để tắt hoàn toàn
6
7ask_human vẫn phải tạm dừng để chờ tôi. Tiếp tục ghi decisions.jsonl y hệt như trước.

Hãy tiếp tục ghi log ngay cả sau khi bạn đã bật chế độ active. Log là cách duy nhất để bạn phân biệt được một bộ định tuyến giúp tiết kiệm tiền với một bộ âm thầm chặn đứng những công việc lẽ ra phải hoàn thành.

Nên định tuyến cái gì trước

Hãy bắt đầu với cái routine cứ liên tục thử đi thử lại, và để yên phần còn lại trong hệ thống của bạn.

Những routine đáng để định tuyến trước tiên đều có chung một đặc điểm: agent không biết những gì nó đã biết. Nó mở lại trình duyệt để tìm một tệp đang nằm sẵn trên ổ đĩa, đọc đến nguồn thứ mười bốn trong khi năm nguồn đầu đã trả lời xong câu hỏi, hoặc thử cùng một cách tiếp cận lần thứ ba vì chẳng có gì báo cho nó biết lần thứ hai đã thất bại vì đúng lý do đó.

Chọn một cái, chạy ở chế độ shadow, và đọc log trước khi mở rộng.

Chi phí là bao nhiêu

Một lời gọi Jev chỉ mang theo bốn trường ngắn gọn, nên nó rất nhẹ. Mỗi lời gọi mua cho bạn quyền bỏ qua một bước tốn kém: một phiên duyệt web, một lượt nghiên cứu, một bot phụ, hay một lần thử lại.

Hãy tự đo lường trên lưu lượng của chính bạn thay vì lấy con số của bất kỳ ai, kể cả của tôi. Ghi log quyết định, ghi log bước bạn đã bỏ qua, và so sánh một tuần chạy shadow với một tuần chạy active.

Vài giới hạn cần nhớ

• Một máy tính cho mỗi tài khoản. Mọi bot bạn chạy đều thấy chung tệp và thông tin đăng nhập, nên đừng để bất cứ thứ gì bạn không muốn chia sẻ cho tất cả chúng trên máy đó.
• Hai mươi bản ghi lượt chạy cho mỗi routine. Hãy đẩy những gì bạn quan tâm vào kho lưu trữ của riêng mình.
• Lượt sử dụng vẫn không phải là vô hạn. Bộ định tuyến giúp giảm bớt các thao tác tốn kém, chứ không phá bỏ giới hạn trần.

Vậy cuối cùng bạn có được gì?

Grok Bot lo phần suy nghĩ và thực thi, Jev trả lời bằng một trong năm hành động, còn bạn giữ quyền quyết định cuối cùng đối với bất cứ thứ gì không thể hoàn tác.

Hãy bắt đầu với cái routine cứ liên tục thất bại theo cùng một kiểu, chạy shadow trong một tuần, rồi mới bật nó lên.

Cảm ơn bạn đã đọc!

Hướng dẫn đầy đủ và các phần còn lại của loạt bài: https://zodchiii.substack.com/