Nadella 的 7 大原则、Dynatrace 以 9.15 亿美元收购 Arize,以及 CIO、创始人与投资人之间关于“谁该来把关 AI Agent”的争论。更新于 2026 年 10 月。
一个 AI Agent 可以把退款政策解释得滴水不漏,却照样把钱打进错误的账户。对话记录看着没问题,交易却做错了。
目前有三类产品专门用来揪出这类问题:可观测性(observability)、评估(evaluation)和保障(assurance)。厂商已经开始把它们揉在一起。买家会不会跟进还是未知数,第二个问题同样悬而未决:到底该由谁来把关?怎样才算真正独立?
AI 正在从“只会回答问题”走向“直接动手干活”。Gartner 预测,到 2028 年,三分之一的企业软件应用将具备 Agentic AI 能力,而 2024 年这一比例还不到 1%。这些 Agent 能写代码并提交、转账、和客户沟通,而且通常不需要有人在旁边实时盯着。
当软件只负责输出答案时,大家最关心的是“答案好不好”。Agent 带来的问题就多了:它做了什么?做得对不对?出了事谁兜底?能不能随时叫停?对 CIO 来说,这些问题既是工程问题,更是 AI 治理和风险管理问题。
今天有三个市场分别覆盖了其中一部分:
- AI 可观测性记录 AI 做了什么。
- AI 评估衡量它做得怎么样。
- AI 保障把证据、控制手段及其边界整合起来,让人能够做出可追责的决策。英国政府将其描述为衡量、评估并传达可信度的过程。
2025 年,AI 可观测性是一个价值 12.5 亿美元的市场,同一份研究认为,其中评估与质量保证将是增长最快的部分。2026 年 10 月 1 日,Dynatrace 完成了对 Arize 的收购,这笔价值 9.15 亿美元的交易旨在把评估与可观测性合二为一。Cisco 在 5 月完成了对 Galileo 的收购。10 月 10 日,Satya Nadella 发布了信任 AI 的七大原则,横跨上述三个市场。
接下来,本文将梳理 AI 是如何走到今天的、Nadella 提出了什么,以及五个“合成声音”对市场走向的争论。
从规则到 AI Agent:为什么信任变得更难了
一段被简化成四个阶段的历史。每往前走一步,机器都变得更能干,也更难解释。
- 规则(大约 20 世纪 50 年代至 21 世纪初)。大多数软件都是工程师一步步手写出来的。Bug 不少,但工程师可以打开代码,找到出错的那一行。
- 模式(2010 年代)。有了深度学习,机器开始靠样例而不是规则来学习图像识别、语音识别等任务。没人写过那些逻辑。这些系统主要负责打标签、排序和推荐,至于拿结果做什么,还是由人或普通软件决定。
- 对话(2022 年至 2024 年)。聊天机器人能写、能总结、能辩论。它们经常出错,但人通常会先看一眼答案再行动。
- Agent(2025 年至今)。Agent 会点击、输入、下单、写代码、做部署。实验室让它们在模拟的办公室、浏览器和代码库里反复练习来训练它们。有些 Agent 可以长时间运行,中间根本没人逐步骤复核。
在对话阶段,一个烂答案顶多让你重看一遍;在 Agent 阶段,一个错误操作可能赔上钱、数据或客户。
早在 Agent 出现之前,软件就已经在做代价高昂的自动化决策了。现在的区别在于:一个通用模型就能跨多个工具选择并执行一整串动作。一旦出问题,原因可能是模型、Prompt、检索到的数据、某个 API、过期的记忆、权限设置,甚至是两个 Agent 之间的交互。最终输出的那个答案,只是证据的一部分。
Nadella 这样描述过去的状况:在传统软件时代,“我们有工具和能力去把行为追溯到具体的代码路径”。而在如今的模型里,没人能指出某个决策背后具体是哪条训练数据或哪个权重。这三个市场,正是在努力填补这道鸿沟。
Satya Nadella 的 AI 治理框架:信任 AI Agent 的 7 大原则
2026 年 10 月 10 日,Nadella 在博客上发表了《超级智能时代的模型即内部风险》。他的核心主张是:“我们需要把智能的供给与对智能的支配权分开。”
他把一个能力强大的模型比作拥有广泛权限的员工。担心的不是模型有恶意——任何能接触关键系统的人都可能犯错或被攻破,所以你要限制它的访问范围、记录它的操作,并保留随时叫停的能力。用他的话说:“如果无法被观测,就无法被信任!”
他称之为七项“可观测性原则”。连起来看,它们构成了一套针对 Agent 的 AI 治理框架。下面是对每条原则的转述,以及我个人对当前对应市场的映射。
- 模型多样性:不让单一 AI 自己检查自己的工作,也不让它独自做重大决策。当前对应市场:评估。
- 观测一切:每个有意义的动作都要留下防篡改、人类可读的证据。当前对应市场:可观测性。
- 可验证性:整个系统要持续接受测试,包括攻击、故障和边界情况。当前对应市场:评估与保障。
- 独立控制:规定 AI 能访问什么的规则必须放在 AI 之外,让它改不了。当前对应市场:主要是安全与访问控制工具,AI 平台中刚开始出现护栏。
- 独立可审计性:关于 AI 行为的证据要与被检查的 AI 分开存放。当前对应市场:保障。
- 遏制能力:授权人员可以在任务中途暂停或关停模型。当前对应市场:主要是运行时与安全工具。
- 事件披露:出问题时通知受影响方,并共享经验教训。当前对应市场:企业实践,由可观测性记录支撑。
没有任何一个市场能覆盖七项中的两项以上。独立控制和遏制能力基本游离在这三者之外,归属于安全和运行时工具。综合来看,这七项原则描绘的是一个比三个市场加起来还要大的体系。
他的结语是:“最值得信赖的超级智能系统,不会是我们最信任的那个模型所在的系统,而是那个让我们尽可能少去信任模型的系统。”
要尽可能少地信任模型,就需要记录它做了什么(可观测性)、有办法评判它(评估),以及人能拿来担责的证据(保障)。还需要两样东西——目前这几个市场大多把它们甩给了安全和运行时工具:模型改不了的控制手段,以及人能随时叫停它的方法。
AI 可观测性 vs 评估 vs 保障:当下的市场格局
把 AI Agent 想象成一个刚入职的司机。
- 可观测性是行车记录仪。它记录每一次转弯、刹车和险情,回答“AI 做了什么?”主要卖给负责系统稳定运行的团队。
- 评估是驾照考试。它给司机在特定场景下的表现打分,回答“它做得有多好?”主要由开发 AI 产品的工程师购买,QA 团队买得也越来越多。
- 保障是车检报告。它在第一次上路前以及整个行驶过程中,收集判断车和司机是否适合上路所需的证据,回答“有没有足够的证据让我敢签字背书?”没有哪次车检能保证车子永远不出事故;一份好的报告会写明查了什么、发现了什么、还有哪些是未知的。这是三者中最不成熟的一个,目前相关工作分散在质量、风险和合规团队手里。
当 AI 只负责输出答案时,不同买家各用各的工具,日子还算过得去。到了 Agent 时代,工具之间的缝隙就变得致命了。每件工具单拎出来都有用,但没人看的录像证明不了什么;司机每周都在换,考一次试很快就过时了;而报告的可信度,完全取决于背后的录像和考试成绩。
近期 AI 可观测性与评估平台的收购案:
- 2026 年 10 月,Dynatrace 以 9.15 亿美元收购 Arize,把评估和生产监控结合起来。
- 2026 年 5 月,[Cisco 收购 Galileo](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo) 并将其纳入 Splunk,覆盖 Agent 的评估、监控与护栏。
- 2026 年 2 月,[Snowflake 收购 Observe](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm),把可观测性带进数据平台。
- 2026 年 2 月,[ClickHouse 收购 Langfuse](https://wetheflywheel.com/en/ai-observability/),一款 LLM 追踪工具。
Dynatrace 表示,收购 Arize 把评估与可观测性合二为一,让团队能在上线前检查 AI,并在上线后保持其可靠性。Cisco 则称 Galileo 覆盖了从早期评估到生产监控与护栏的全流程。
这些交易说明厂商正在整合产品,但还看不出买家在合并预算、砍掉专业工具,或者向运行自家 AI 的公司购买保障服务。本文剩下的篇幅,聊的就是这些问题。





