Các tác nhân AI (agent) rất hữu ích vì chúng giúp chúng ta tự động hóa công việc bằng cách thực hiện các hành động trong thế giới thực. Nhưng để các tác nhân này thực hiện công việc có giá trị một cách đáng tin cậy thì cần nhiều hơn một mô hình tốt: nó đòi hỏi một bộ khung (harness) được thiết kế cẩn thận, phù hợp với một tập hợp các nhiệm vụ.
Thuật toán cốt lõi của tác nhân rất đơn giản: cung cấp ngữ cảnh cho LLM và cho phép nó gọi các công cụ (tool) trong một vòng lặp cho đến khi hoàn thành. Đây là vòng lặp cơ bản nhất. Nhưng nó không phải là vòng lặp duy nhất cung cấp sức mạnh cho các tác nhân. @swyx gần đây đã viết một bài viết tuyệt vời về "loopcraft: nghệ thuật xếp chồng các vòng lặp", ý tưởng rằng bạn có thể xếp chồng và mở rộng các vòng lặp để xây dựng các tác nhân hiệu quả hơn.
Đây là cách chúng tôi nghĩ về sự chồng lớp đó và cách thiết lập từng cấp độ với các nguyên thủy (primitives) của LangChain.
Vòng lặp 1: Tác nhân
Về bản chất, một tác nhân chỉ là một mô hình gọi các công cụ trong một vòng lặp cho đến khi một nhiệm vụ hoàn thành.
Đây là những gì create_agent của LangChain cung cấp. Chọn bất kỳ mô hình nào, kết nối các công cụ và bạn đã có một vòng lặp tác nhân hoạt động. Các công cụ là thứ mang lại cho tác nhân khả năng hành động trong thế giới thực.
Hãy lấy tác nhân tài liệu nội bộ của chúng tôi làm ví dụ (chúng tôi sẽ sử dụng nó như một ví dụ động lực cho phần còn lại của bài blog này). Ở cấp độ vòng lặp đầu tiên, nó nhận được yêu cầu cải thiện tài liệu, mô hình lên kế hoạch và soạn thảo các thay đổi, đồng thời sử dụng các công cụ để sao chép kho lưu trữ (repos), đọc tệp, viết tài liệu, mở pull request, v.v.
Cấp độ 2: Vòng lặp xác minh
Vòng lặp tác nhân hoàn thành công việc, nhưng nó không phải lúc nào cũng tạo ra kết quả chính xác hoặc nhất quán ngay lần đầu tiên. Khi tính nhất quán là quan trọng, việc bọc nó trong một vòng lặp xác minh để kiểm tra đầu ra và gửi phản hồi trở lại mô hình khi nó không đạt yêu cầu thường rất hữu ích.
Vòng lặp xác minh thêm một bộ chấm điểm (grader): thứ kiểm tra đầu ra của tác nhân dựa trên một tiêu chí (rubric) và nếu nó thất bại, sẽ gửi kết quả trở lại kèm phản hồi. Bộ chấm điểm có thể là xác định (deterministic) hoặc có tính tác nhân (agentic) (LLM làm giám khảo là một ví dụ kinh điển ở đây).
RubricMiddleware xử lý mẫu này hoặc bạn có thể kết nối nó với một hook after_agent trên create_agent.
Đối với ví dụ về trình viết tài liệu của chúng tôi, bộ chấm điểm chạy các bài kiểm tra sau mỗi lần thử, kiểm tra xem tất cả các liên kết có hoạt động không, tất cả các kiểm tra CI có đạt không và sự khác biệt (diff) có nằm trong phạm vi những gì thực sự được yêu cầu không. Không cần xem xét thủ công để phát hiện các loại lỗi đó.
Một sự đánh đổi: thêm xác minh sẽ làm tăng độ trễ và chi phí cho mỗi lần chạy. Điều đó đáng giá khi chất lượng quan trọng hơn tốc độ, đó là hầu hết các trường hợp sử dụng trong sản xuất.
Cấp độ 3: Vòng lặp hướng sự kiện
Một trong những phần quan trọng nhất của việc phát triển tác nhân là lớp tích hợp: kết nối tác nhân của bạn với hệ sinh thái của bạn để nó có thể chạy trong nền.
Vòng lặp hướng sự kiện kết nối tác nhân của bạn với hệ sinh thái của bạn. Một sự kiện xảy ra — một tài liệu mới được đưa vào, một lịch trình kích hoạt, một webhook đến — và tác nhân chạy. Tác nhân không phải là thứ bạn gọi thủ công; nó là một thành phần chạy liên tục bên trong một hệ thống lớn hơn.
LangSmith Deployment hỗ trợ cơ sở hạ tầng kích hoạt, bao gồm hỗ trợ cho lịch trình cron và webhooks. Một ví dụ phổ biến về crons đang hoạt động là "heartbeats" trong openclaw, biến tác nhân của bạn thành một trợ lý chủ động, luôn hoạt động.
Tác nhân tài liệu của chúng tôi được hỗ trợ bởi Fleet, công cụ xây dựng tác nhân không cần mã của chúng tôi. Các kênh và lịch trình của Fleet xử lý các kích hoạt hướng sự kiện và kiểu cron. Chúng tôi sử dụng một kênh để kích hoạt tác nhân tài liệu bất cứ khi nào một tin nhắn được gửi trong kênh Slack #docs-plz của chúng tôi.
Cấp độ 4: Vòng lặp leo đồi
Ba vòng lặp đầu tiên tự động hóa công việc. Vòng lặp thứ tư (và được cho là quan trọng nhất) tự động hóa việc cải tiến!
Mỗi lần chạy tác nhân tạo ra một dấu vết (trace): một bản ghi về những gì mô hình đã làm, các công cụ nó đã gọi, phản hồi của bộ chấm điểm, v.v. Những dấu vết đó chứa các tín hiệu có giá trị cao về những gì đang hoạt động và những gì không. Vòng lặp leo đồi chạy một tác nhân phân tích trên những dấu vết đó và sử dụng các phát hiện để viết lại bộ khung với cấu hình được cải thiện. Điều đó có thể bao gồm các điều chỉnh prompt/công cụ hoặc điều chỉnh bộ chấm điểm.
Trong LangSmith, bạn có thể sử dụng Engine, tác nhân phân tích dấu vết của chúng tôi, để thiết lập vòng lặp thứ tư này.
Kết thúc phép so sánh với tác nhân tài liệu, chúng tôi chạy Engine trên các dấu vết của tác nhân tài liệu để phát hiện bất kỳ vấn đề nào. Khi nhiều dấu vết báo hiệu một vấn đề tiềm ẩn, một issue sẽ được gửi yêu cầu thay đổi đối với prompt hoặc công cụ có vấn đề.
Động thái quan trọng ở đây là mũi tên quay lại không chỉ quay trở lại điểm đầu — nó đi vào bên trong và cập nhật trực tiếp vòng lặp tác nhân. Mỗi chu kỳ của vòng lặp bên ngoài làm cho các vòng lặp bên trong hiệu quả hơn.
Nhìn về phía trước:
cấu hình prompt và công cụ là những thứ đơn giản nhất để cải thiện, nhưng chúng không phải là lựa chọn duy nhất. Đối với các nhóm chạy các mô hình open-weight, vòng lặp leo đồi có thể nuôi dưỡng quá trình tinh chỉnh RL (RL fine-tuning), sử dụng kết quả dấu vết hoặc đánh giá (eval) làm tín hiệu huấn luyện để cải thiện chính mô hình. Ngữ cảnh phụ trợ như bộ nhớ và các kỹ năng được truy xuất có thể được cải thiện theo cùng một cách. Vòng lặp là mẫu hình; những gì nó tối ưu hóa là tùy thuộc vào bạn.
Sự giám sát và chuyên môn của con người
Tự động hóa không có nghĩa là loại bỏ con người khỏi vòng lặp. Ở mọi cấp độ, đều có những điểm tự nhiên mà sự giám sát của con người mang lại giá trị gia tăng. Một bộ chấm điểm tự động có thể kiểm tra xem các liên kết có hoạt động không; cần một con người để nhận thấy cách đóng khung (framing) không phù hợp với đối tượng mục tiêu. Loại phán đoán đó, có được từ ngữ cảnh, kinh nghiệm và gu thẩm mỹ, chính xác là nơi mà việc xem xét của con người xứng đáng có vị trí của nó.
Một số chuyên môn nên được hệ thống hóa trong chính prompt/công cụ, nhưng đối với các hành động nhạy cảm, việc xem xét trực tiếp của con người là điều cần thiết (hãy nghĩ đến các giao dịch tài chính, thao tác cơ sở dữ liệu, v.v.). LangChain giúp việc thiết lập các điểm tiếp xúc này trong mọi vòng lặp trở nên đơn giản:
- Trong vòng lặp tác nhân, yêu cầu đầu vào của con người trước các hành động/lời gọi công cụ nhạy cảm
- Trong vòng lặp xác minh, con người có thể đóng vai trò là bộ chấm điểm cho các quy trình làm việc nhạy cảm
- Trong vòng lặp ứng dụng, con người có thể phê duyệt đầu ra trước khi chúng được trả lại cho người dùng cuối
- Trong vòng lặp leo đồi, các cải tiến bộ khung có thể được xem xét bởi con người trước khi triển khai
Tất cả các khung mã nguồn mở của LangChain đều làm cho việc thêm "human in the loop" trở thành một nguyên thủy hạng nhất.
Tổng hợp tất cả lại
Trong trường hợp bạn thích chế độ xem dạng bảng hơn, đây là cách bốn vòng lặp đó xếp chồng lên nhau:
Vòng lặp
Nó làm gì
Tác động
Nguyên thủy của LangChain
1: Vòng lặp tác nhân
(mô hình + công cụ)
Mô hình gọi các công cụ lặp đi lặp lại cho đến khi một nhiệm vụ hoàn thành
Tự động hóa công việc
create_agent
, bất kỳ mô hình nào được LangChain hỗ trợ
2: Vòng lặp xác minh
(tác nhân + bộ chấm điểm)
Tác nhân chạy, đầu ra được chấm điểm dựa trên tiêu chí, thử lại với phản hồi nếu thất bại
Đảm bảo chất lượng
RubricMiddleware
3: Vòng lặp sự kiện
(xác minh + hệ thống)
Các sự kiện kích hoạt các lần chạy tác nhân cập nhật một hệ thống thực
Làm việc ở quy mô lớn
LangSmith Deployment / Kênh Fleet
4: Vòng lặp leo đồi
(hệ thống + engine)
Các dấu vết sản xuất nuôi dưỡng một tác nhân phân tích giúp cải thiện cấu hình bộ khung
Cải tiến liên tục
LangSmith Engine
Đây là những gì kỹ thuật vòng lặp — hay loopcraft, như @swyx đã nói — thực sự trông như thế nào trong thực tế. Các nhà lãnh đạo AI như Steipete, Boris và Andrej đều đã đi đến cùng một kết luận: tiềm năng của các tác nhân nằm ở các vòng lặp bạn xây dựng xung quanh chúng.
Chúng tôi đã suy nghĩ về các vòng lặp 1 và 2 trong một thời gian. Nhưng trọng tâm nên chuyển sang các vòng lặp 3 và 4, nơi giá trị được nhân lên bằng cách nhúng các tác nhân vào hệ sinh thái của bạn, liên tục cải thiện để đáp ứng các tiêu chí của bạn.
Satya đặt ra các vấn đề của tổ chức: các công ty xây dựng các vòng lặp học tập sớm, nơi phán đoán của con người và vốn token kết hợp với nhau, sẽ xây dựng được một lợi thế khó sao chép.
Lời cảm ơn
Cảm ơn @Vtrivedy10 , @masondrxy , @hwchase17 và @huntlovell vì những đánh giá sâu sắc.
