자기 개선은 새로운 해자(moat)가 되어, 제품 기업이 단순히 LLM API를 래핑하는 수준을 넘어설 수 있게 해줍니다.
이러한 학습을 수확할 수 있는 두 가지 장소는 브라우저 활동(사용자가 애플리케이션에서 실제로 수행하는 작업)과 에이전트 추적(에이전트가 실제로 수행한 작업)입니다.
올바르게 구현된다면, 사용자가 제품을 사용하기만 해도 제품이 개선될 수 있습니다.
여러분의 제품은 매일 수백, 수천, 또는 수백만 건의 에이전트-사용자 상호작용을 처리할 수 있습니다. 이는 데이터의 금광입니다.
하지만 오늘날, 그 가치의 대부분은 활용되지 못하고 사라집니다.
사용자가 에이전트를 "가르치지만" 그 "교훈"은 그냥 사라져 버립니다.
데이터 신호를 포착하는 것은 복리 효과를 내는 자산입니다.
하지만 포착만으로는 충분하지 않습니다. 에이전트가 컨텍스트에 묻히지 않고 이를 활용할 수 있어야 합니다. 모델은 제한된 주의 집중 예산을 가지고 있으며, 모든 것을 컨텍스트에 집어넣는 것은 해결책이 아닙니다...
기사 개요
비즈니스 해자를 구축할 수 있는 자기 개선형 에이전트에 대해 알아보겠습니다. 여기에는 다음 내용이 포함됩니다:
- 에이전트 추적 및 브라우저 내 활동으로부터 학습
- 학습 내용이 적용될 수 있는 곳: 모델 가중치, 하네스, 컨텍스트
- 다양한 학습 유형: 절차적, 의미적, 일화적
- 데이터 개인정보 보호: 사용자 데이터 안전하게 보호
- 데이터 소유권: 비즈니스 해자 구축
- AG-UI를 사용하여 모든 에이전트에 자기 학습을 쉽게 구현하기 위한 실용적인 팁
몇 주 내로 Self-Learning 솔루션을 출시할 예정입니다.
조기 액세스 및 디자인 파트너십을 위해 여기에 등록하세요.
에이전트는 두 곳에서 학습해야 합니다
에이전트는 에이전트 추적과 주변 브라우저 내 활동으로부터 학습해야 합니다.
대부분의 학습 접근 방식은 둘 중 하나만 사용하지만, 두 가지를 모두 활용하는 제품은 그렇지 않은 제품보다 훨씬 뛰어난 성능을 발휘할 것입니다.
1. 에이전트 추적
에이전트가 실행되고 모든 단계가 추적으로 기록됩니다. 무엇을 요청받았는지, 어떤 도구를 호출했는지, 어떤 결과가 반환되었는지, 어디서 실패했는지 등이 기록됩니다.
다른 에이전트를 해당 추적에 투입하면 실패 패턴을 찾아내고 프롬프트, 도구, 지침을 다시 작성합니다.
누락된 절반: 에이전트 상호작용 외부의 모든 것, 즉 대부분의 활동이 여전히 발생하는 영역입니다.
2. 브라우저 내 주변 사용자 활동
즉, 사용자를 관찰하는 것입니다.
사용자의 클릭, 편집, 응답, 워크플로우를 관찰합니다.
Brex는 이러한 방식으로 온보딩을 구축했습니다. 분석가가 작업하는 것을 관찰하고 모든 사람의 수정 사항을 훈련 신호로 피드백했습니다.
각각의 사람이 수정할 때마다 다음 실행을 개선하는 레이블이 지정된 데이터 포인트가 생성됩니다.
누락된 절반: 이 방법은 사람을 완벽하게 볼 수 있습니다. 하지만 에이전트가 무엇을 시도했는지, 왜 실패했는지는 전혀 알 수 없습니다.
두 신호를 모두 포착해야 합니다
어떻게? 아니면 더 나은 질문은 어디서일까요?
오늘날 거의 모든 제품에 두 신호를 동시에 볼 수 있는 한 곳이 있습니다: 바로 사람과 에이전트가 나란히 작업하는 표면, 즉 인터페이스입니다.
방법은 Agent-User Interaction Protocol (AG-UI)을 통하는 것입니다. 이는 앱, 사용자, 에이전트 간의 모든 이벤트를 스트리밍하는 개방형 표준입니다. 이것이 왜 중요한지에 대한 자세한 내용은 아래에서 설명합니다.
학습 내용이 적용될 수 있는 곳
각각 고유한 장단점이 있는 세 가지 장소가 있습니다.
→ 모델 가중치: 교훈을 모델 자체에 미세 조정합니다.
→ 하네스: 모델을 둘러싼 모든 것. 모델이 따르는 사이클, 호출할 수 있는 도구, 실행 전에 잡아내는 검사 등입니다.
→ 컨텍스트 내: 새로운 정보를 프롬프트에 직접 추가합니다. 에이전트는 호출할 때마다 이를 읽습니다.
이 세 가지 계층에 걸친 10가지 접근 방식 모두를 첫 번째 기사에서 다루었습니다 ↓
https://x.com/svpino/status/2070210421995569537
다양한 학습 유형
시간이 지남에 따라 에이전트를 개선하는 데 도움이 되는 세 가지 주요 유형이 있습니다.
1. 절차적 (워크플로우/작업 수행 방법)
절차적 기억은 많은 사람들이 skills 또는 agents.md 파일에 포함시키는 것입니다:
작업 완료를 위한 학습된 워크플로우와 규칙입니다.
예시:
충성도 높은 고객에 대한 한도 초과 환불을 승인하는 관리자. 에이전트가 이를 학습하고 다음 번에도 동일하게 수행합니다.
장점: 에이전트가 동일한 사례를 매번 동일한 방식으로 처리합니다. 일관되고 독립적입니다.
단점: 잘못된 워크플로우를 학습하면 매번 자신 있게 잘못된 작업을 수행합니다.
2. 일화적 (발생한 일)
특정 과거 사건 및 상호작용에 대한 기록입니다.
예시:
"1월 5일에 Joe Jonas의 환불이 카드 만료로 인해 반송되었습니다."
장점: 실제 과거 사례가 추상적인 규칙보다 낫습니다. 에이전트는 결과가 어떻게 나왔는지 보고 효과가 있었던 것을 복사합니다.
단점: 대부분의 과거 사례는 쓸모없는 노이즈입니다. 누군가가 기억할 가치가 있는 것만 골라내거나, 유용한 사례가 묻히지 않도록 해야 합니다.
3. 의미적 (사실)
에이전트가 알아야 할 안정적인 사실입니다.
예시:
"모든 신용카드 플랜에는 한도가 있지만, 한도는 플랜에 따라 다릅니다."
장점: 모든 곳에서 재사용 가능합니다. 사실은 사실입니다.
단점: 경고 없이 구식이 됩니다. 한도가 변경되는 날, 에이전트는 자신 있게 틀린 정보를 가지고 행동합니다.
CopilotKit Intelligence와 AG-UI를 통한 자기 학습 작동 방식
의미적은 사실인 것을 유지합니다.
일화적은 발생한 사례를 유지합니다.
절차적은 이를 처리하기 위한 규칙을 유지합니다.
에이전트-사용자 상호작용에서 자기 학습으로의 흐름 과정
루프를 직접 소유하고 해자 구축하기
학습 데이터는 제품의 가장 중요한 부분이며, 소프트웨어를 처음부터 만드는 비용이 낮아짐에 따라 그 가치는 점점 더 높아질 것입니다.
학습 데이터를 소유하면 LLM API의 단순한 래퍼 이상이 될 수 있습니다.
에이전트의 실수와 사람의 수정은 대개 서로 다른 두 곳에서 끝납니다.
그리고 아무도 이를 연결하지 않습니다.
이를 위한 표면은 이미 제품 내부에 존재합니다: 바로 인터페이스입니다.
추적 도구는 에이전트만 봅니다.
브라우저를 관찰하는 종류의 주변 도구는 사람만 보며, 이를 위해 개인정보를 침해합니다.
하지만 CopilotKit은 두 신호를 모두 봅니다.
CopilotKit은 앱을 통해 흐르는 모든 이벤트(에이전트와 사용자 모두의 모든 도구 호출, 상태 변경, 승인, 편집)를 읽습니다.
이는 AG-UI (Agent-User Interaction Protocol)를 통해 실시간으로 앱, 사용자, 에이전트 간의 모든 이벤트를 전달합니다.
이제 에이전트의 시도와 사람의 수정이 동일한 스트림에 도착합니다.
AG-UI는 모든 에이전트 및 모든 하네스와 함께 작동합니다
AG-UI는 프레임워크에 구애받지 않는 개방형 표준입니다.
AWS, Google, Microsoft, Oracle, LangChain, Mastra, Pydantic AI, CrewAI, LlamaIndex 등에서 채택했습니다.
AG-UI는 이벤트를 보고 학습된 컨텍스트를 에이전트에 직접 주입합니다. 해당 에이전트의 하네스가 내부적으로 무엇이든 상관없습니다.
즉, 오늘이든 내년이든, 여러분이 도입하는 모든 에이전트에 동일한 학습이 자동으로 적용되며, 각각에 대해 맞춤형 통합 작업이 필요하지 않습니다.
한 고객은 CopilotKit의 에이전트 + Google ADK + Microsoft Agent Framework와 통신하는 UI를 실행하며, 모든 메모리가 세 가지 모두에서 공유됩니다.
프레임워크 선택으로부터 분리된 메모리 = 이식성
모든 것이 여러분의 인프라에서 실행되므로 학습 데이터를 소유합니다
CopilotKit Intelligence는 자체 Kubernetes 클러스터에 자체 호스팅됩니다. 완전한 데이터 주권, SOC 2 Type II, 필요한 경우 에어갭 배포가 가능합니다.
데이터는 여러분의 곁에 남습니다. 에이전트가 그로부터 학습하는 모든 것도 마찬가지입니다.
다른 모든 업체의 접근 방식은 학습 데이터를 자체 클라우드에 보관하거나, Meta의 방식처럼 감시를 통해 데이터를 얻습니다.
@CopilotKit Intelligence는 현재 Fortune 500대 기업에서 프로덕션 환경에서 운영 중이며, 얼리 액세스가 열려 있습니다. 더 많은 사람이 사용할수록 더 나아지는 에이전트를 원한다면, 연락주세요.
학습 컨테이너: 새로운 학습 내용을 "누가" 받을지 결정
제품에서 학습을 활성화하자마자 "학습이 어디까지 확장되는가?"라는 질문이 제기됩니다. 한 사용자의 민감한 사실이 다른 사용자의 에이전트 컨텍스트로 유출되어서는 안 됩니다.
CopilotKit의 솔루션은 학습 컨테이너입니다. 개발자가 제어할 수 있는 범위로, 각 학습이 얼마나 '멀리' 퍼질지 결정할 수 있습니다.
CopilotKit을 사용하면 다양한 사용자 코호트에 대한 학습 컨테이너를 쉽게 정의할 수 있습니다:
- 사용자별. 특정 선호도와 같은 경우.
- 팀별. 승인 절차와 같은 경우.
- 앱별. 회사 전체 규칙과 같은 경우.
학습 컨테이너는 완전히 감사 가능합니다. 무엇이 학습되었고 어떤 컨테이너에 저장되었는지 정확히 확인할 수 있습니다.
이 외에도 훨씬 더 많은 내용이 있습니다.
최근에 방금 언급한 모든 내용을 다루는 심층 라이브스트림을 진행했습니다.
전체 녹화는 여기에서 시청하세요.
요약
TL;DR로 이 그래픽을 네트워크와 공유하세요
@CopilotKit Intelligence는 이미 대기업의 프로덕션 환경에서 이 기능을 실행 중이며, 얼리 액세스가 열려 있습니다.
사용자가 사용할수록 더 나아지는 에이전트를 원한다면, 연락주시면 도와드리겠습니다.
더 많은 정보를 보려면 @ataiiam을 팔로우하세요.
