Tự cải thiện là hào mới, cho phép các công ty sản phẩm vượt xa việc chỉ gói gọn các API LLM.
Có hai nơi để thu thập kiến thức này: hoạt động trên trình duyệt (những gì người dùng thực sự làm trong ứng dụng) và dấu vết tác nhân (những gì tác nhân của bạn thực sự đã làm).
Nếu thực hiện đúng, sản phẩm của bạn có thể cải thiện chỉ bằng cách được sử dụng.
Sản phẩm của bạn có thể có hàng trăm, hàng nghìn hoặc hàng triệu tương tác giữa tác nhân và người dùng mỗi ngày. Đó là một mỏ vàng dữ liệu.
Tuy nhiên, ngày nay, phần lớn giá trị đó không được khai thác.
Người dùng của bạn "dạy" cho tác nhân và "bài học" đó cứ thế biến mất.
Việc thu thập các tín hiệu dữ liệu là một tài sản kép.
Nhưng chỉ thu thập thôi là chưa đủ -- tác nhân vẫn phải sử dụng nó mà không bị ngập trong ngữ cảnh. Các mô hình có ngân sách chú ý hạn chế, và nhồi nhét mọi thứ vào ngữ cảnh không phải là giải pháp...
Tổng quan bài viết
Chúng ta sẽ cùng tìm hiểu về các tác nhân tự cải thiện mà bạn có thể xây dựng một hào kinh doanh xung quanh, bao gồm:
- Học hỏi từ dấu vết tác nhân & hoạt động trên trình duyệt
- Nơi kiến thức có thể được áp dụng: trọng số mô hình, bộ khung và ngữ cảnh
- Các loại kiến thức khác nhau: thủ tục, ngữ nghĩa, tình huống
- Quyền riêng tư dữ liệu: giữ an toàn dữ liệu người dùng của bạn
- Quyền sở hữu dữ liệu: xây dựng một hào kinh doanh
- Mẹo thực tế để dễ dàng triển khai tự học cho bất kỳ tác nhân nào, sử dụng AG-UI
Chúng tôi sẽ ra mắt giải pháp Tự học của mình trong vài tuần tới.
Đăng ký tại đây để truy cập sớm và hợp tác thiết kế.
Tác nhân của bạn nên học từ 2 nơi
Các tác nhân nên học hỏi từ dấu vết tác nhân và từ hoạt động xung quanh trên trình duyệt.
Hầu hết các phương pháp học chỉ sử dụng một trong hai, nhưng các sản phẩm tận dụng cả hai sẽ vượt trội hơn đáng kể so với những sản phẩm không làm vậy.
1. Dấu vết tác nhân
Tác nhân chạy và mỗi bước được ghi lại dưới dạng dấu vết. Nó được yêu cầu gì, nó đã gọi công cụ nào, kết quả trả về ra sao, nó thất bại ở đâu.
Hướng một tác nhân khác vào những dấu vết đó, và nó sẽ tìm ra các mẫu lỗi và viết lại các lời nhắc, công cụ và hướng dẫn.
Một nửa còn thiếu: Bất cứ thứ gì bên ngoài tương tác của tác nhân, nơi hầu hết hoạt động vẫn diễn ra.
2. Hoạt động xung quanh của người dùng trên trình duyệt
Hay còn gọi là, theo dõi người dùng.
Các cú nhấp chuột, chỉnh sửa, phản hồi và quy trình làm việc của họ.
Brex đã xây dựng quy trình onboarding của họ theo cách này. Họ theo dõi các nhà phân tích của mình làm việc và đưa mọi sửa chữa của con người trở lại như một tín hiệu đào tạo.
Mỗi lần sửa của con người tạo ra một điểm dữ liệu được gắn nhãn giúp cải thiện lần chạy tiếp theo.
Một nửa còn thiếu: Phương pháp này nhìn thấy con người một cách hoàn hảo. Nhưng nó không biết gì về những gì tác nhân đã thử hoặc tại sao nó thất bại.
Bạn nên thu thập cả hai tín hiệu
Làm thế nào? Hay tốt hơn, ở đâu?
Có một nơi trong hầu hết mọi sản phẩm ngày nay có thể thấy cả hai cùng lúc: bề mặt nơi con người và tác nhân làm việc song song với nhau.
Hay còn gọi là, giao diện.
Cách thực hiện là thông qua Giao thức Tương tác Tác nhân-Người dùng (AG-UI): một tiêu chuẩn mở truyền phát mọi sự kiện giữa ứng dụng của bạn, người dùng của bạn và tác nhân. Thông tin thêm về lý do tại sao điều này quan trọng ở bên dưới.
Nơi kiến thức có thể được áp dụng
Có ba nơi, mỗi nơi có những đánh đổi riêng.
→ Trọng số mô hình: Tinh chỉnh bài học vào chính mô hình.
→ Bộ khung: Mọi thứ xung quanh mô hình. Vòng lặp nó tuân theo, các công cụ nó được phép gọi, các kiểm tra bắt lỗi nó trước khi nó hành động.
→ Trong ngữ cảnh: Thêm thông tin mới trực tiếp vào lời nhắc. Tác nhân đọc nó trên mỗi cuộc gọi.
Tôi đã đề cập đến tất cả 10 phương pháp trên ba lớp này trong bài viết đầu tiên ↓
https://x.com/svpino/status/2070210421995569537
Các loại kiến thức khác nhau
Có ba loại chính sẽ giúp các tác nhân của bạn cải thiện theo thời gian.
1. Thủ tục (quy trình/cách làm việc)
Bộ nhớ thủ tục là thứ mà nhiều người trong chúng ta đưa vào các tệp skills hoặc agents.md:
Các quy trình làm việc và quy tắc đã học để hoàn thành một nhiệm vụ.
Ví dụ:
Một người quản lý phê duyệt khoản hoàn tiền vượt hạn mức cho một khách hàng trung thành. Tác nhân học điều này và làm tương tự vào lần sau.
Ưu điểm: Tác nhân xử lý cùng một trường hợp theo cùng một cách mỗi lần. Nhất quán và độc lập.
Nhược điểm: Nếu nó học sai quy trình, nó sẽ làm sai một cách tự tin, mỗi lần.
2. Tình huống (những điều đã xảy ra)
Một bản ghi về các sự kiện và tương tác cụ thể trong quá khứ.
Ví dụ:
"Vào ngày 5 tháng 1, khoản hoàn tiền của Joe Jonas bị trả lại vì thẻ của anh ấy đã hết hạn."
Ưu điểm: Một trường hợp quá khứ thực tế tốt hơn một quy tắc trừu tượng. Tác nhân thấy nó diễn ra như thế nào và sao chép những gì đã hiệu quả.
Nhược điểm: Hầu hết các trường hợp quá khứ là nhiễu vô ích. Ai đó phải xem xét và chỉ giữ lại những trường hợp đáng nhớ nếu không trường hợp hữu ích sẽ bị chôn vùi.
3. Ngữ nghĩa (các sự kiện)
Các sự kiện ổn định mà tác nhân nên biết.
Ví dụ:
"Tất cả các gói thẻ tín dụng đều có một số hạn mức, nhưng hạn mức thay đổi theo từng gói"
Ưu điểm: Có thể tái sử dụng ở mọi nơi. Một sự kiện là một sự kiện.
Nhược điểm: Trở nên lỗi thời mà không có cảnh báo. Vào ngày hạn mức thay đổi, tác nhân tự tin sai và vẫn hành động theo nó.
Tự học đang hoạt động thông qua CopilotKit Intelligence và AG-UI
Ngữ nghĩa giữ những gì đúng.
Tình huống giữ trường hợp đã xảy ra.
Thủ tục giữ quy tắc để xử lý nó.
Hành trình luồng từ tương tác tác nhân-người dùng đến tự học
Tự sở hữu vòng lặp và xây dựng hào
Dữ liệu học tập là phần quan trọng nhất của sản phẩm của bạn, và nó sẽ ngày càng có giá trị khi chi phí tạo phần mềm từ đầu giảm xuống.
Sở hữu dữ liệu học tập cho phép bạn trở nên nhiều hơn một lớp bọc của API LLM.
Sai sót của tác nhân và sự sửa chữa của con người thường kết thúc ở hai nơi khác nhau.
Và không ai kết nối chúng.
Bề mặt để làm điều đó đã tồn tại bên trong sản phẩm của bạn: giao diện.
Các công cụ theo dõi chỉ thấy tác nhân.
Các công cụ xung quanh, loại theo dõi trình duyệt, chỉ thấy con người và xâm phạm quyền riêng tư để có được điều đó.
Nhưng CopilotKit thấy cả hai tín hiệu.
CopilotKit đọc các sự kiện chảy qua ứng dụng của bạn: mọi lệnh gọi công cụ, thay đổi trạng thái, phê duyệt và chỉnh sửa, từ cả tác nhân và người sử dụng nó.
Nó thực hiện điều này thông qua AG-UI (Giao thức Tương tác Tác nhân-Người dùng) mang mọi sự kiện giữa ứng dụng của bạn, người dùng của bạn và tác nhân trong thời gian thực.
Bây giờ, nỗ lực của tác nhân và sự sửa chữa của con người đến trong cùng một luồng.
AG-UI hoạt động với bất kỳ tác nhân & bộ khung nào
AG-UI là một tiêu chuẩn mở, không phụ thuộc vào framework.
Nó đã được áp dụng bởi AWS, Google, Microsoft, Oracle, LangChain, Mastra, Pydantic AI, CrewAI, LlamaIndex và nhiều hơn nữa.
AG-UI thấy các sự kiện và tiêm ngữ cảnh đã học trực tiếp vào tác nhân, bất kể bộ khung bên dưới của tác nhân đó trông như thế nào.
Điều đó có nghĩa là cùng một kiến thức áp dụng cho bất kỳ tác nhân nào bạn mang vào, hôm nay hay năm sau, một cách tự động, không cần công việc tích hợp tùy chỉnh cho mỗi tác nhân mới.
Một trong những khách hàng của chúng tôi chạy một giao diện nói chuyện với tác nhân của CopilotKit + Google ADK + Microsoft Agent Framework, và tất cả ký ức được chia sẻ trên cả ba.
Ký ức tách rời khỏi lựa chọn framework = tính di động
Mọi thứ chạy trên cơ sở hạ tầng của bạn để bạn sở hữu kiến thức
CopilotKit Intelligence tự lưu trữ trên cụm Kubernetes của riêng bạn. Toàn quyền sở hữu dữ liệu, SOC 2 Loại II, triển khai cách ly nếu bạn cần.
Dữ liệu ở lại với bạn. Cùng với mọi thứ tác nhân học được từ nó.
Cách tiếp cận của mọi người khác hoặc giữ kiến thức học tập của bạn trên đám mây của họ hoặc giống như của Meta, sử dụng giám sát để có được nó.
@CopilotKit Intelligence đang hoạt động trong sản xuất tại các công ty Fortune 500 ngày hôm nay và mở cửa cho truy cập sớm. Nếu bạn muốn tác nhân của mình trở nên tốt hơn khi có nhiều người sử dụng nó, hãy liên hệ.
Vùng chứa học tập: quyết định "ai" nhận được kiến thức mới
Ngay khi bạn kích hoạt tính năng học tập trong sản phẩm của mình, câu hỏi đặt ra là: kiến thức mở rộng đến đâu? Các sự kiện nhạy cảm từ một người dùng không được rò rỉ vào ngữ cảnh tác nhân của người dùng khác.
Giải pháp của CopilotKit là Vùng chứa học tập: các phạm vi thân thiện với nhà phát triển mà bạn có thể kiểm soát, quyết định mức độ 'xa' của mỗi bài học.
CopilotKit cho phép bạn dễ dàng xác định các vùng chứa học tập cho các nhóm người dùng khác nhau:
- Theo từng người dùng. Giống như các tùy chọn cụ thể.
- Theo từng nhóm. Giống như các quy trình phê duyệt.
- Theo từng ứng dụng. Giống như các quy tắc trên toàn công ty.
Vùng chứa học tập hoàn toàn có thể kiểm toán được. Bạn có thể thấy chính xác những gì đã được học và nó nằm trong vùng chứa nào.
Còn nhiều điều nữa.
Gần đây, chúng tôi đã tổ chức một buổi phát trực tiếp chuyên sâu về tất cả những gì tôi vừa đề cập.
Xem bản ghi đầy đủ tại đây.
Tóm tắt ngắn gọn
Chia sẻ đồ họa này với mạng lưới của bạn như một TL;DR
@CopilotKit Intelligence đã chạy tính năng này trong sản xuất tại các doanh nghiệp lớn và nó đang mở cửa cho truy cập sớm.
Nếu bạn muốn một tác nhân trở nên tốt hơn khi người dùng của bạn sử dụng nó nhiều hơn, hãy liên hệ và chúng tôi sẽ giúp bạn tham gia.
Theo dõi @ataiiam để biết thêm.
