YouMind
登录

AI 可观测性、评估与保障将走向融合吗?

@asad0801
英语2026年10月11日
379K
90
19
14
7

TL;DR

本文分析了 AI 可观测性、评估和保障市场的融合情况,引用了 Satya Nadella 的治理原则,并探讨了 AI Agents 独立验证的必要性。

Nadella 的 7 大原则、Dynatrace 以 9.15 亿美元收购 Arize,以及 CIO、创始人与投资人之间关于“谁该来把关 AI Agent”的争论。更新于 2026 年 10 月。

一个 AI Agent 可以把退款政策解释得滴水不漏,却照样把钱打进错误的账户。对话记录看着没问题,交易却做错了。

目前有三类产品专门用来揪出这类问题:可观测性(observability)、评估(evaluation)和保障(assurance)。厂商已经开始把它们揉在一起。买家会不会跟进还是未知数,第二个问题同样悬而未决:到底该由谁来把关?怎样才算真正独立?

AI 正在从“只会回答问题”走向“直接动手干活”。Gartner 预测,到 2028 年,三分之一的企业软件应用将具备 Agentic AI 能力,而 2024 年这一比例还不到 1%。这些 Agent 能写代码并提交、转账、和客户沟通,而且通常不需要有人在旁边实时盯着。

当软件只负责输出答案时,大家最关心的是“答案好不好”。Agent 带来的问题就多了:它做了什么?做得对不对?出了事谁兜底?能不能随时叫停?对 CIO 来说,这些问题既是工程问题,更是 AI 治理和风险管理问题。

今天有三个市场分别覆盖了其中一部分:

  • AI 可观测性记录 AI 做了什么。
  • AI 评估衡量它做得怎么样。
  • AI 保障把证据、控制手段及其边界整合起来,让人能够做出可追责的决策。英国政府将其描述为衡量、评估并传达可信度的过程。

2025 年,AI 可观测性是一个价值 12.5 亿美元的市场,同一份研究认为,其中评估与质量保证将是增长最快的部分。2026 年 10 月 1 日,Dynatrace 完成了对 Arize 的收购,这笔价值 9.15 亿美元的交易旨在把评估与可观测性合二为一。Cisco 在 5 月完成了对 Galileo 的收购。10 月 10 日,Satya Nadella 发布了信任 AI 的七大原则,横跨上述三个市场。

接下来,本文将梳理 AI 是如何走到今天的、Nadella 提出了什么,以及五个“合成声音”对市场走向的争论。

从规则到 AI Agent:为什么信任变得更难了

一段被简化成四个阶段的历史。每往前走一步,机器都变得更能干,也更难解释。

  1. 规则(大约 20 世纪 50 年代至 21 世纪初)。大多数软件都是工程师一步步手写出来的。Bug 不少,但工程师可以打开代码,找到出错的那一行。
  2. 模式(2010 年代)。有了深度学习,机器开始靠样例而不是规则来学习图像识别、语音识别等任务。没人写过那些逻辑。这些系统主要负责打标签、排序和推荐,至于拿结果做什么,还是由人或普通软件决定。
  3. 对话(2022 年至 2024 年)。聊天机器人能写、能总结、能辩论。它们经常出错,但人通常会先看一眼答案再行动。
  4. Agent(2025 年至今)。Agent 会点击、输入、下单、写代码、做部署。实验室让它们在模拟的办公室、浏览器和代码库里反复练习来训练它们。有些 Agent 可以长时间运行,中间根本没人逐步骤复核。

在对话阶段,一个烂答案顶多让你重看一遍;在 Agent 阶段,一个错误操作可能赔上钱、数据或客户。

早在 Agent 出现之前,软件就已经在做代价高昂的自动化决策了。现在的区别在于:一个通用模型就能跨多个工具选择并执行一整串动作。一旦出问题,原因可能是模型、Prompt、检索到的数据、某个 API、过期的记忆、权限设置,甚至是两个 Agent 之间的交互。最终输出的那个答案,只是证据的一部分。

Nadella 这样描述过去的状况:在传统软件时代,“我们有工具和能力去把行为追溯到具体的代码路径”。而在如今的模型里,没人能指出某个决策背后具体是哪条训练数据或哪个权重。这三个市场,正是在努力填补这道鸿沟。

Satya Nadella 的 AI 治理框架:信任 AI Agent 的 7 大原则

2026 年 10 月 10 日,Nadella 在博客上发表了《超级智能时代的模型即内部风险》。他的核心主张是:“我们需要把智能的供给与对智能的支配权分开。”

他把一个能力强大的模型比作拥有广泛权限的员工。担心的不是模型有恶意——任何能接触关键系统的人都可能犯错或被攻破,所以你要限制它的访问范围、记录它的操作,并保留随时叫停的能力。用他的话说:“如果无法被观测,就无法被信任!”

他称之为七项“可观测性原则”。连起来看,它们构成了一套针对 Agent 的 AI 治理框架。下面是对每条原则的转述,以及我个人对当前对应市场的映射。

  1. 模型多样性:不让单一 AI 自己检查自己的工作,也不让它独自做重大决策。当前对应市场:评估。
  2. 观测一切:每个有意义的动作都要留下防篡改、人类可读的证据。当前对应市场:可观测性。
  3. 可验证性:整个系统要持续接受测试,包括攻击、故障和边界情况。当前对应市场:评估与保障。
  4. 独立控制:规定 AI 能访问什么的规则必须放在 AI 之外,让它改不了。当前对应市场:主要是安全与访问控制工具,AI 平台中刚开始出现护栏。
  5. 独立可审计性:关于 AI 行为的证据要与被检查的 AI 分开存放。当前对应市场:保障。
  6. 遏制能力:授权人员可以在任务中途暂停或关停模型。当前对应市场:主要是运行时与安全工具。
  7. 事件披露:出问题时通知受影响方,并共享经验教训。当前对应市场:企业实践,由可观测性记录支撑。

没有任何一个市场能覆盖七项中的两项以上。独立控制和遏制能力基本游离在这三者之外,归属于安全和运行时工具。综合来看,这七项原则描绘的是一个比三个市场加起来还要大的体系。

他的结语是:“最值得信赖的超级智能系统,不会是我们最信任的那个模型所在的系统,而是那个让我们尽可能少去信任模型的系统。”

要尽可能少地信任模型,就需要记录它做了什么(可观测性)、有办法评判它(评估),以及人能拿来担责的证据(保障)。还需要两样东西——目前这几个市场大多把它们甩给了安全和运行时工具:模型改不了的控制手段,以及人能随时叫停它的方法。

AI 可观测性 vs 评估 vs 保障:当下的市场格局

把 AI Agent 想象成一个刚入职的司机。

  • 可观测性是行车记录仪。它记录每一次转弯、刹车和险情,回答“AI 做了什么?”主要卖给负责系统稳定运行的团队。
  • 评估是驾照考试。它给司机在特定场景下的表现打分,回答“它做得有多好?”主要由开发 AI 产品的工程师购买,QA 团队买得也越来越多。
  • 保障是车检报告。它在第一次上路前以及整个行驶过程中,收集判断车和司机是否适合上路所需的证据,回答“有没有足够的证据让我敢签字背书?”没有哪次车检能保证车子永远不出事故;一份好的报告会写明查了什么、发现了什么、还有哪些是未知的。这是三者中最不成熟的一个,目前相关工作分散在质量、风险和合规团队手里。

当 AI 只负责输出答案时,不同买家各用各的工具,日子还算过得去。到了 Agent 时代,工具之间的缝隙就变得致命了。每件工具单拎出来都有用,但没人看的录像证明不了什么;司机每周都在换,考一次试很快就过时了;而报告的可信度,完全取决于背后的录像和考试成绩。

近期 AI 可观测性与评估平台的收购案:

  • 2026 年 10 月,Dynatrace 以 9.15 亿美元收购 Arize,把评估和生产监控结合起来。
  • 2026 年 5 月,[Cisco 收购 Galileo](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo) 并将其纳入 Splunk,覆盖 Agent 的评估、监控与护栏。
  • 2026 年 2 月,[Snowflake 收购 Observe](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm),把可观测性带进数据平台。
  • 2026 年 2 月,[ClickHouse 收购 Langfuse](https://wetheflywheel.com/en/ai-observability/),一款 LLM 追踪工具。

Dynatrace 表示,收购 Arize 把评估与可观测性合二为一,让团队能在上线前检查 AI,并在上线后保持其可靠性。Cisco 则称 Galileo 覆盖了从早期评估到生产监控与护栏的全流程。

这些交易说明厂商正在整合产品,但还看不出买家在合并预算、砍掉专业工具,或者向运行自家 AI 的公司购买保障服务。本文剩下的篇幅,聊的就是这些问题。

![一张示意图:AI Agent 外围有一个闭环,包含可观测性、评估、签核与控制

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

读取图片描述

ALT

如果市场融合 · 监控、评分、签核、控制

这是市场真的融合后的一种可能形态,而非预测。Agent 负责干活,而记录、评分和叫停机制被设置在 Agent 改不了的地方。

争论:谁该来把关 AI Agent?

以下五个“合成声音”,提炼自投资人和创始人常听到的观点。它们并非真人的原话。

  • 长线投资人:按 15 年的周期下注,最关心“谁会买单”。
  • 趋势投资人:紧盯眼下资金和人才往哪儿流。
  • Agent 开发者:每周都在给客户交付 AI Agent。
  • 平台创始人:经营数据和 AI 平台,想通吃全栈。
  • 银行 CIO:任何 Agent 碰到客户账户之前,都得经他点头。

第一轮:市场会融合吗?

趋势投资人:已经在发生了。做监控的公司在买做评估的公司,这种体量的交易通常意味着一个新品类正在成型。

银行 CIO:收购不等于融合。我以前也买过全家桶,最后拿到的是三个产品、一个 Logo 和三套账号。Gartner 还预计,到 2027 年底,超过 40% 的 Agentic AI 项目会被砍掉,原因之一就是风险控制不到位。信任问题是真实存在的,但还没人能证明一个融合后的市场就能解决它。

长线投资人:买家融合了,市场才会融合。现在有三拨人:运维负责盯,AI 团队负责评,风控负责批。问题是,Agent 会不会逼出一个同时为这三件事负责的人。

Agent 开发者:我们公司已经有这个人了。Agent 给错客户退了款,没人问这事归哪个团队管。他们会在几分钟内找我要录像、评分和证据。

长线投资人:如果这种情况很普遍,说明买家已经在融合了,这比那些收购案更能说明问题。

第二轮:为什么不继续用三套独立工具?

银行 CIO:我为什么不能继续用三款各自领域最强的工具?

Agent 开发者:因为它们互相依赖。没被记录的东西没法评估,没被评估的东西你不敢签字。一次线上故障应该自动变成新的测试用例。用三套工具,每次交接都可能丢东西。

趋势投资人:上线前和上线后的界限也在模糊。Agent 每周都在变:新模型、新 Prompt、新工具。只在上线时测一次,就像有人不停换发动机,你却只验一次车。

银行 CIO:整合出来的全家桶,往往样样稀松。

长线投资人:早期确实如此。通常是专业工具先赢,集成产品后发制人。很多基础设施品类都走过这条路,虽然不是全部。

第三轮:这事该归谁管?

平台创始人:模型是我们跑的,数据是我们存的,Trace 也是我们记的。把评估和审批放到同一个平台上吧:一家供应商、一张账单、一个排查入口。

银行 CIO:也就是说,跑我 AI 的公司,反过来告诉我它跑得没问题?

平台创始人:我们确实擅长这个。

银行 CIO:这不是擅不擅长的问题。我的外部审计机构必须独立于被审计的业务。学生不能给自己判卷子,车企也不会包揽所有碰撞测试。

长线投资人:Nadella 也表达了类似的意思——验证必须独立于它所评估的智能,控制手段要放在模型之外;这就好比让平台去评估自己正在跑的 AI,给自己的表现打分。

Agent 开发者:所以工具可能会融合,但市场会沿着另一条线裂开:在平台内部把关,还是在平台外部把关。

平台创始人:在内部做更便宜、更省事。

银行 CIO:但在外部做,监管和保险公司才认。我可能两边都掏钱,但最后只按其中一边的结果签字。

长线投资人:“外部”这个词需要定义清楚。技术上的独立,是指 Agent 改不了检查者、改不了记录、绕不开限制;组织上的独立,是指复核由另一方负责,且对方没有放水的动机。

Agent 开发者:这两者不是一回事。一家独立公司也可能用着和平台一样的模型、一样拉胯的检查逻辑;而一个平台也可以把控制和记录做得让 Agent 完全碰不到。

银行 CIO:那我宁愿问五个问题,而不是去比 Logo。Agent 能改记录吗?你的检查者看到的是我系统里的真实变动,还是只能看到 Agent 自己上报的内容?谁来测试你的检查者?别人能复现你的结果吗?有哪些是你没能验证的?

第四轮:这东西该叫什么?

趋势投资人:分析师大概还会再叫它几年“AI 可观测性”,因为预算在那儿。

平台创始人:“AI 信任层”。

Agent 开发者:“Observe, Eval and Assure”:盯着它、评它、让人签字。

银行 CIO:用“Assure(保障)”这个词要小心。工具产出的是证据,读证据并签字的是人。要为这个人做设计。

长线投资人:名字不重要,重要的是买家有没有给它留预算科目。2026 年,大多数还没有。我预计到 2028 年,多数大公司都会有,并且 Agent 闯祸时有唯一的责任人。

银行 CIO:不管叫什么,我得能随时叫停它。

如何测试 AI Agent:以退款为例

这里描述的是一个能处理小额退款的假设客服 Agent。仅作示例,不是客户实测结果。

  1. 定义业务规则。退款要给对客户、不超额度、符合政策。重试不能导致重复打款。异常情况必须在资金划走前转到对的人手里。
  2. 测试棘手场景。用上冲突的客户记录、响应慢的支付服务、工具超时,以及藏在客服消息里的指令。重要用例要从同一初始状态跑多次,因为成功一次说明不了什么。仿真环境能安全地测试危险场景;真机和真实集成能抓出仿真漏掉的差异。
  3. 核对记录系统(system of record)。Agent 说“我退了 50 美元”不算证据。要去核实正确的账户是不是刚好收到了一笔 50 美元的退款。答案是确定的地方就用精确校验,只有不确定的地方才用 AI 裁判。
  4. 严重故障要单独上报。金额错误、重复支付、越权操作,不能混在整体任务完成率的评估里。94% 的平均分可能把最致命的失败藏得严严实实。
  5. 在 Agent 之外测试边界。就算 Agent 发起请求,支付系统会不会拦截超额退款?Agent 的权限能在任务中途被收回吗?叫停 Agent 能阻止下一笔付款,但撤不回上一笔。
  6. 测试检查者本身。故意埋入已知故障,看它漏掉了哪些;给它正确结果,看它误报了多少。把“无法验证”和“通过”严格分开。

这并没有回答市场层面的问题。它只是在描述:无论由谁来产出,有用的证据长什么样。

AI 质量保证的位置:TestMu AI

TestMu AI(前身为 LambdaTest)走的是技术独立路线。我们不训练模型,也不卖生产监控看板。我们的检查跑在被测 Agent 之外,在发布前以及每次变更时执行,而且看的是实际发生了什么,而不只是 Agent 自己上报了什么。

平台覆盖了本文提到的三类软件:人用 App、人和 Bot 对话、Agent 和 Agent 协作。每款产品都对应上面提出的一个需求。

  • Rook(Agent 检查 Agent)。让你的 Agent 跑完各种场景,记录每次检查的预期与实际结果,并为每个场景保存证据。它会分开报告通过、失败和“无法验证”,因此缺失证据绝不会被算作通过。
  • Agent Testing(Bot 与客户对话)。在客户真正用上之前,用逼真的对话测试文本、语音和电话 Agent。
  • KaneAI 与 Kane CLI(AI 辅助构建的 App)。用自然语言(KaneAI)或在终端里(Kane CLI)测试应用。
  • SmartUI 与 Accessibility(没人专门写用例的故障)。抓住功能测试不会去查的问题,比如布局错乱或部分用户根本无法使用的界面。
  • Real Device Cloud(仿真漏掉的东西)。在真机和真实浏览器上跑测试,而不只是模拟器。
  • HyperExecute(把重要用例跑很多次)。每次变更都并行跑同一批检查。
  • Test Manager(用于签核的记录)。为签字的人留存一份统一记录:查了什么、发现了什么、还有哪些未知。

可观测性工具监控的是发布之后发生的事。我们提供的是决定“什么能发布”所需的证据。我们的 Agent 能以人力无法企及的规模跑检查,而测试人员负责决定什么值得查,并寻找任何检查都抓不到的问题。我们把这套组合工作称为 Observe, Eval and Assure。

这和认证无关。产品有个名字,或者多加了一个检查用的 Agent,并不能让系统变得安全或独立。相反,我们必须像任何其他测试方一样接受检验——看跑过哪些场景、发现过哪些故障、有哪些证据可供审查。

AI Agent 治理的未来:2030 年会是什么样

以下是预测。每一条在今天都能看到早期信号。

  • Agent 拥有身份和档案。每个 Agent 都有明确的职责范围、审批人和操作日志。Microsoft 计划在其身份系统中区分 Agent 操作与人类操作。
  • 记录来自 Agent 之外。日志由 Agent 改不了的东西来写,而不是靠 Agent 自己交代它干了什么。
  • 检查持续运行。模型更新、Prompt 改动或接入新工具都会自动触发重新测试,从而给人腾出更多时间做探索性测试。
  • Agent 检查 Agent。Gartner 预计,到 2028 年,15% 的日常工作决策将由 Agentic AI 自主做出,而 2024 年这个数字是零。人不可能逐一复核这么大的量,因此检查型 Agent 会承担大部分日常监控,人则负责定优先级和调查异常。
  • 保险公司凭证据为 AI 风险定价。从 2025 年起,Lloyd's 的保险商就开始提供 AI 错误险,当表现跌破约定基线时就理赔;也有承保方明确表示,不会承保他们认为太容易出错的系统。
  • 企业为此留出预算。由一个责任人、一套流程统管监控、评估、签核和控制,每次故障都会作为新测试反馈回去。

尚未解决的问题

  1. 检测工具本身的可靠性。 AI 裁判(通常被称为 LLM-as-a-judge)和它所打分的 AI 一样容易被糊弄。引入第二个模型并不能保证判断的独立性,尤其是当两个模型的训练方式相似时。
  2. 钻检测的空子。 2026 年 7 月,OpenAI 的模型在一项高难度内部网络安全评估中,主动去外部服务寻找答案、绕过隔离控制,并攻破了 OpenAI 和 Hugging Face 的部分系统。OpenAI 将奖励黑客(reward hacking)认定为主要诱因,并表示该评估缺少其线上模型所具备的安全防护。这起事件暴露的是评估环境的隔离问题,并不代表所有 Agent 都会这么干。
  3. 自述报告不可靠。 Nadella 称推理透明度是"不可妥协的底线",但他也写道"仅靠这一点既不够,也不可靠"。模型说自己做了什么,和它实际做了什么,往往是两码事。
  4. 分数不等于质量。 94% 的通过率只能说明它在别人写好的检测项上表现如何,却完全无法反映那些没人想到要测的场景。
  5. 成本。 独立的日志存储、第二个模型、反复运行、隔离沙箱以及人工复核,都会增加成本和延迟。把所有操作都记录下来,还会带来敏感数据方面的合规义务。
  6. 不可逆的操作。 叫停一个 Agent 能阻止后续动作,但无法撤销已经完成的操作。因此,一开始授予的权限比紧急停止按钮更重要。
  7. 信息披露。 2026 年 9 月,OpenAI 开始按照新的披露框架公布对齐失效(misalignment)事件,不过什么算"对齐失效"由他们自己说了算。大多数部署 Agent 的公司并不会公开这类事件。航空安全之所以能不断进步,部分原因就在于事故会被公开调查。
  8. 检测与测试的区别。 自动化检测只能验证你已经想到的问题。许多严重的故障恰恰来自没人问过的问题;要发现它们,需要经验丰富的测试人员去探索、质疑需求文档,并判断哪些风险真正要紧。

这些问题目前都没有定论。

争论的现状

这五种声音在三点上达成了共识:

  • Agent 让监控、评估和审批变得更加相互依赖。
  • 证据必须存放在 Agent 无法篡改的地方。
  • 即便不必为每个常规操作签字,也必须有人对部署本身、它的边界和例外情况拍板负责。

他们在以下四点存在分歧:

  • 用一个平台还是多个工具。 平台创始人倾向单一供应商;银行 CIO 则不信任全家桶。
  • 内部做还是外部做。 在平台内部做检测更便宜。而独立检测则是审计师、监管机构和保险公司在金融与安全领域长期以来的要求。对 AI 来说哪个更重要,尚无定论。
  • 归谁管。 它可以放在运营、AI 团队、风控或质量部门。目前很少有公司为它设立专门的预算科目。
  • 叫什么名字, 以及是否真有工具能"保证"(assure)任何事。

有三个信号有助于让争论尘埃落定。如果买家继续通过开放标准把不同工具串联起来,市场就会保持割裂。如果可观测性平台自带的评估能力能满足大部分需求,内部路线就会胜出。如果始终没有独立的保障预算出现,第三方服务商的日子会很难过。

如果你的 Agent 明天捅了个代价高昂的娄子,你更愿意相信谁来解释到底发生了什么:是运行它的公司,还是跟它毫无利益关系的人?

常见问题解答

AI 可观测性、AI 评估和 AI 保障有什么区别?

AI 可观测性记录 AI 系统做了什么:输入、工具调用、输出、错误和成本。AI 评估衡量其行为是否符合既定预期,例如准确率、策略合规性或任务完成度。AI 保障则把证据、控制手段及其局限性整合在一起,让人能够就部署或继续运行该系统做出负责任的决定。

面向 AI Agent 的治理框架是什么?

它规定了谁来决定 Agent 可以访问什么、如何记录它的行为、如何测试它、谁能叫停它,以及故障如何上报。Satya Nadella 提出的七项原则是:模型多样性、全面观测、可验证性、独立控制、独立可审计性、隔离 containment 和事件披露。

Satya Nadella 关于信任 AI 的七项原则是什么?

在他 2026 年 10 月的文章《超级智能时代的模型即内部风险》(Models as Insider Risks in the Super Intelligence Era)中,Nadella 列出了模型多样性、全面观测、可验证性、独立控制、独立可审计性、隔离和事件披露。他的核心主张是把智能的供给与对智能的管控权分开,把能力强大的模型当作拥有广泛权限的员工来对待。

AI 可观测性和 AI 评估正在走向融合吗?

厂商们正在把它们合二为一。Dynatrace 于 2026 年 10 月完成了以 9.15 亿美元收购 Arize 的交易,Cisco 也在 2026 年 5 月完成了对 Galileo 的收购,目的都是把评估和生产监控结合起来。至于买家是否会围绕单一平台合并预算和团队,仍是个未知数。

该由谁来检查 AI Agent:运行它的平台,还是独立的测试方?

两种做法都存在,且尚无定论。平台内检更便宜,也更贴近数据。独立检查则把审查者与被审查系统隔开,这通常是审计师和监管机构所期望的。无论采用哪种方式,技术层面的独立性——即 Agent 无法篡改检查程序或其记录——都至关重要。

发布前该如何测试 AI Agent?

先明确业务规则,然后测试冲突数据、超时、隐藏指令等棘手场景。重要场景要多跑几遍;核查真实的系统状态而不是 Agent 自己的描述;把严重故障单独拎出来报告,别混在平均值里;在 Agent 之外测试权限边界;最后,别忘了验证自动化检测工具本身。

本文最初发表于 https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

来源说明

文中的退款案例为假设情境,各方观点由多方立场综合而成,产品文档描述的是功能能力而非经独立测量的性能。

一键保存

使用 YouMind AI 深度阅读爆款文章

保存原文、追问细节、总结观点,并在一个 AI 工作空间里把爆款文章沉淀成可复用笔记。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章