나델라(Nadella)의 7 가지 원칙, Dynatrace 의 9 억 1,500 만 달러 규모 Arize 인수, 그리고 AI 에이전트를 누가 검증해야 하는지를 두고 CIO, 창업자, 투자자가 벌인 논쟁. 2026 년 10 월 업데이트.
AI 에이전트는 환불 절차를 완벽하게 설명하면서도 엉뚱한 계좌로 돈을 보낼 수 있습니다. 대화 기록은 흠잡을 데 없지만, 실제 거래는 잘못된 것이죠.
이런 문제를 잡아내기 위한 세 가지 제품군이 존재합니다. 바로 옵저버빌리티(observability), 평가(evaluation), 보증(assurance)입니다. 벤더들은 이들을 하나로 합치기 시작했습니다. 구매자들이 그 흐름을 따를지는 아직 미지수이며, 두 번째 질문도 마찬가지입니다. 과연 누가 검증을 맡아야 하고, 무엇이 진정한 의미의 '독립적' 검증일까요?
AI 는 단순히 질문에 답하는 단계를 넘어 직접 행동을 실행하는 단계로 진화하고 있습니다. Gartner 는 2028 년까지 엔터프라이즈 소프트웨어 애플리케이션의 3 분의 1이 에이전틱 AI 를 탑재할 것으로 전망하며, 이는 2024 년의 1% 미만에서 크게 증가한 수치입니다. 이러한 에이전트는 코드를 작성하고 제출하며, 자금을 이체하고, 고객과 소통합니다. 대개 사람이 실시간으로 감시할 필요 없이 말이죠.
소프트웨어가 단순히 답변만 내놓던 시절에는 그 답변이 훌륭한지가 유일한 관심사였습니다. 하지만 에이전트는 더 많은 질문을 던지게 합니다. 무엇을 했는가, 그것이 옳았는가, 누군가 책임을 질 수 있는가, 그리고 멈출 수 있는가? CIO 에게 이는 엔지니어링의 문제인 동시에 AI 거버넌스 및 리스크 관리의 문제이기도 합니다.
오늘날 세 가지 시장이 이 영역의 일부를 담당하고 있습니다.
- AI 옵저버빌리티는 AI 가 무엇을 했는지 기록합니다.
- AI 평가는 AI 가 얼마나 잘 수행했는지 측정합니다.
- AI 보증은 증거와 통제 수단, 그리고 그 한계를 한데 모아 사람이 책임감 있는 결정을 내릴 수 있게 합니다. 영국 정부는 이를 신뢰성을 측정, 평가, 전달하는 과정이라고 설명합니다.
AI 옵저버빌리티는 2025 년 기준 12 억 5 천만 달러 규모의 시장이었으며, 같은 조사에 따르면 이 중 평가와 품질 보증 분야가 가장 빠르게 성장할 것으로 예상됩니다. Dynatrace 는 2026 년 10 월 1 일, 평가와 옵저버빌리티를 결합하기 위해 Arize 인수를 완료했습니다. 이는 9 억 1,500 만 달러 규모의 딜이었습니다. Cisco 역시 5 월에 Galileo 인수를 마무리했습니다. 10 월 10 일, Satya Nadella 는 이 세 가지 시장 모두에 영향을 미치는 AI 신뢰를 위한 7 가지 원칙을 발표했습니다.
이 글의 나머지 부분에서는 AI 가 어떻게 여기까지 왔는지, Nadella 가 무엇을 제안했는지, 그리고 시장의 향방을 둘러싼 5 명의 가상 인물들이 벌이는 논쟁을 다룹니다.
규칙에서 AI 에이전트로: 신뢰 확보가 더 어려워진 이유
4 단계로 요약한 간략한 역사입니다. 각 단계마다 기계의 능력은 향상되었지만, 그 작동 방식을 설명하기는 더 어려워졌습니다.
- 규칙 (대략 1950 년대~ 2000 년대). 대부분의 소프트웨어 애플리케이션은 사람이 단계별로 직접 작성했습니다. 버그가 많았지만, 엔지니어는 코드를 열어 오류를 유발한 줄을 찾아낼 수 있었습니다.
- 패턴 (2010 년대). 딥러닝의 등장으로 기계는 이미지 및 음성 인식 같은 작업에서 규칙 대신 예시를 통해 학습하기 시작했습니다. 아무도 로직을 직접 작성하지 않았습니다. 이 시스템은 주로 라벨링, 순위 지정, 추천을 수행했고, 그 결과를 어떻게 활용할지는 사람이나 일반 소프트웨어가 결정했습니다.
- 챗 (2022 년~ 2024 년). 챗봇은 글을 쓰고, 요약하고, 논쟁할 수 있게 되었습니다. 종종 틀린 답을 내놓기도 했지만, 대개 사람이 답변을 확인한 후 행동에 옮겼습니다.
- 에이전트 (2025 년 이후). 에이전트는 클릭하고, 입력하고, 구매하고, 코딩하고, 배포합니다. 연구소들은 시뮬레이션된 사무실, 브라우저, 코드베이스에서 작업을 연습시키며 에이전트를 훈련합니다. 일부는 사람이 매 단계를 검토하지 않아도 장시간 스스로 작동합니다.
챗 단계에서는 잘못된 답변이 나와도 다시 읽어보는 수고로움이 전부였습니다. 하지만 에이전트 단계에서는 잘못된 행동 하나가 금전, 데이터, 또는 고객의 손실로 이어질 수 있습니다.
소프트웨어는 에이전트가 등장하기 훨씬 전부터 비용이 큰 자동화된 결정을 내려왔습니다. 지금의 차이점은 단일 범용 모델이 여러 도구에 걸쳐 일련의 행동을 선택하고 실행한다는 것입니다. 문제가 발생했을 때 원인은 모델, 프롬프트, 검색된 데이터, API, 오래된 메모리, 권한, 혹은 두 에이전트 간의 상호작용 등 어디에든 있을 수 있습니다. 최종적인 답변은 증거의 일부일 뿐입니다.
Nadella 는 과거의 상황을 이렇게 묘사합니다. 전통적인 소프트웨어에서는 "특정 코드 경로로 행동을 추적할 도구와 역량"을 갖추고 있었습니다. 하지만 현재의 모델에서는 특정 결정 뒤에 어떤 학습 데이터나 가중치가 있는지 아무도 짚어낼 수 없습니다. 앞서 언급한 세 가지 시장은 바로 이 격차를 메우려 노력하고 있습니다.
Satya Nadella 의 AI 거버넌스 프레임워크: AI 에이전트 신뢰를 위한 7 가지 원칙
2026 년 10 월 10 일, Nadella 는 자신의 블로그에 "초지능 시대의 내부 위협으로서의 모델(Models as Insider Risks in the Super Intelligence Era)"이라는 글을 게재했습니다. 그의 핵심 주장은 "지능의 공급과 그에 대한 권한을 분리해야 한다"는 것입니다.
그는 뛰어난 역량의 모델을 광범위한 접근 권한을 가진 직원에 비유합니다. 우려의 대상은 모델이 악의를 품었다는 점이 아닙니다. 중요한 시스템에 접근할 수 있는 사람은 누구나 실수를 하거나 보안이 뚫릴 수 있으므로, 접근 범위를 제한하고 행동을 기록하며 언제든 중단시킬 수 있는 능력을 유지해야 합니다. 그의 말을 빌리면, "관찰할 수 없다면 신뢰할 수도 없습니다!"
그는 이를 7 가지 "옵저버빌리티 원칙"이라 부릅니다. 종합적으로 살펴보면, 이는 에이전트를 위한 AI 거버넌스 프레임워크 역할을 합니다. 아래는 각 원칙을 요약하고, 현재 이를 다루는 시장과 매핑한 내용입니다.
- 모델 다양성: 단일 AI 가 스스로 자신의 작업을 검증하거나 중요한 결정을 단독으로 내려서는 안 됩니다. 현재 시장: 평가.
- 모든 것 관찰: 의미 있는 모든 행동은 사람이 읽을 수 있고 변조가 불가능한 증거를 남겨야 합니다. 현재 시장: 옵저버빌리티.
- 검증 가능성: 공격, 장애, 엣지 케이스를 포함해 전체 시스템을 지속적으로 테스트해야 합니다. 현재 시장: 평가 및 보증.
- 독립적 통제: AI 가 접근할 수 있는 범위를 정하는 규칙은 AI 가 변경할 수 없는 외부에 존재해야 합니다. 현재 시장: 주로 보안 및 접근 제어 도구이며, AI 플랫폼에도 가드레일이 도입되기 시작했습니다.
- 독립적 감사 가능성: AI 의 행동에 관한 증거는 검증 대상인 AI 와 분리되어 보관되어야 합니다. 현재 시장: 보증.
- 격리: 권한을 가진 사람은 작업 중간에 모델을 일시 중지하거나 종료할 수 있어야 합니다. 현재 시장: 주로 런타임 및 보안 도구.
- 장애 공개: 실패가 발생하면 영향받는 당사자에게 알리고 교훈을 공유해야 합니다. 현재 시장: 옵저버빌리티 기록에 기반한 기업 관행.
단일 시장이 7 가지 중 2 개 이상을 포괄하는 경우는 없습니다. 독립적 통제와 격리는 대부분 이 세 시장 밖의 보안 및 런타임 도구에 속해 있습니다. 이 원칙들을 종합하면 세 시장을 합친 것보다 더 큰 시스템을 묘사하게 됩니다.
그의 결론은 다음과 같습니다. "가장 신뢰할 수 있는 초지능 시스템은 우리가 가장 신뢰하는 모델을 갖춘 시스템이 아닐 것입니다. 그것은 우리가 모델을 가장 덜 신뢰해도 되게 만드는 시스템일 것입니다."
모델을 최대한 덜 신뢰하려면 모델이 무엇을 했는지 기록(옵저버빌리티)하고, 이를 판단할 방법(평가)이 필요하며, 사람이 책임지고 뒷받침할 수 있는 증거(보증)가 있어야 합니다. 또한 이 세 시장이 주로 보안 및 런타임 도구에 맡겨두었던 두 가지, 즉 모델이 변경할 수 없는 통제 수단과 사람이 모델을 멈출 수 있는 방법도 필요합니다.
AI 옵저버빌리티 vs 평가 vs 보증: 오늘날의 시장
AI 에이전트를 갓 채용한 운전기사라고 생각해 봅시다.
- 옵저버빌리티는 블랙박스입니다. 모든 회전, 정지, 아찔했던 순간을 기록하며 "AI 가 무엇을 했는가?"에 답합니다. 주로 시스템을 운영하는 팀에게 판매됩니다.
- 평가는 운전면허 시험입니다. 정해진 상황에서 기사가 어떻게 대처하는지 점수를 매기며 "얼마나 잘하는가?"에 답합니다. 주로 AI 제품을 구축하는 엔지니어가 구매하며, 최근에는 QA 팀의 구매도 늘고 있습니다.
- 보증은 차량 점검 보고서입니다. 첫 운행 전과 운행 전반에 걸쳐 차와 기사가 도로를 달릴 만한 상태인지 판단하는 데 필요한 증거를 수집합니다. "이것을 뒷받침할 충분한 증거가 있는가?"에 답합니다. 어떤 점검도 차가 절대 사고를 내지 않는다는 것을 증명할 수는 없습니다. 좋은 보고서는 무엇을 확인했고, 무엇을 발견했으며, 무엇이 여전히 불확실한지를 명시합니다. 이는 세 가지 중 가장 덜 성숙한 분야이며, 현재 업무가 품질, 리스크, 컴플라이언스 팀에 분산되어 있습니다.
AI 가 답변만 생성하던 시절에는 구매층이 다른 개별 도구들도 꽤 잘 작동했습니다. 하지만 에이전트 시대에는 이들 사이의 공백이 더 치명적입니다. 각 도구는 그 자체로 유용하지만, 아무도 확인하지 않는 영상은 증거가 되지 못하고, 기사가 매주 바뀌는데 치른 시험은 곧 낡아버리며, 보고서는 그 배경이 되는 영상과 시험 결과에 의존합니다.
최근 이루어진 AI 옵저버빌리티 및 평가 플랫폼 인수 사례:
- 2026 년 10 월, Dynatrace 가 9 억 1,500 만 달러에 Arize 를 인수하여 평가와 프로덕션 모니터링을 결합했습니다.
- 2026 년 5 월, [Cisco 가 Splunk 를 위해 Galileo 를 인수](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo)하여 에이전트를 위한 평가, 모니터링, 가드레일을 확보했습니다.
- 2026 년 2 월, [Snowflake 가 Observe 를 인수](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm)하여 데이터 플랫폼에 옵저버빌리티를 통합했습니다.
- 2026 년 2 월, [ClickHouse 가 LLM 트레이싱 도구인 Langfuse 를 인수](https://wetheflywheel.com/en/ai-observability/)했습니다.
Dynatrace 는 이번 Arize 인수를 통해 평가와 옵저버빌리티를 결합하여, 팀이 출시 전에 AI 를 검증하고 이후에도 안정성을 유지할 수 있게 되었다고 밝혔습니다. Cisco 는 Galileo 가 초기 평가부터 프로덕션 모니터링 및 가드레일까지 아우른다고 설명합니다.
이러한 딜은 벤더들이 제품을 결합하고 있음을 보여줍니다. 하지만 구매자들이 예산을 통합하거나 전문 도구를 폐기하고 있지는 않으며, 자사의 AI 를 운영하는 회사로부터 보증 서비스를 구매하고 있지도 않습니다. 이 글의 나머지 부분은 바로 이러한 질문들에 대한 이야기입니다.
