2026 年 7 月 6 日，ITmedia 上刊登了一篇文章。
Databricks 首席 AI 科学家兼 MosaicML 联合创始人 Jonathan Frankle 表示："AI 应用的瓶颈正从模型性能转向'评估'、'治理'和'成本效益'。"
他的论点很简单：
- AI 已经足够聪明了。 光是思考如何使用现有模型，就足以带来"数十年的工作量"。
- 实现更好 AI 应用所需的关键，不是开发更智能的模型，而是投资于评估和治理。
- AI "在 70% 或 90% 的准确率下是不够的"；它需要数量级更严格的评估。
- 而最大的挑战是将人类对"什么是好的工作"的标准转化为一份检查清单。 这"比开发下一个巨型模型要困难得多，可能需要 10 年以上。"
读到这篇文章，我猛然醒悟。
最近，我一直在尝试衡量 AI 的"使用量"。我有一个仪表板，通过 OpenTelemetry 将"Databricks" x "Claude Code/Codex/Cowork" 的使用遥测数据拉取到 Databricks 中，每天早上更新"谁使用了哪个工具、使用了多少、成本是多少"。
但这篇文章的重点并非如此。"那项工作做得好吗？"——对 Agent 质量的评估是一个巨大的空白。
我把文章给了 Fable，并问："思考一下我们应该评估什么"
于是，我把文章的 URL 给了我常用的 Claude（Fable 5），并问道：
阅读这篇文章，思考一下我们应该评估什么。
在检查了我们的内部日志基础设施和仪表板配置后，Fable 提出了一个由"三个评估层面"组成的设计方案。
Fable 的答案：三个"评估什么"的层面
以下是建议内容 """""""""""""""""""""""""""""""""
第一层：摩擦信号（每日、全员、机械判断）
有一些"质量不佳的迹象"甚至无需询问 LLM，就可以从日志中通过机械方式捕捉到。
- 疑似循环：连续 5 次以上命中同一个工具。
- 成本异常：单次会话消耗超过 5 美元。
- 阻塞频率：多次因等待人工确认而停止。
- 缓存效率：上下文复用不佳（即每次都重新读取）。
- 工具连接失败：持续无法连接到 MCP 服务器。
第二层：工作质量（每周、LLM 评判）
创建一个系统，将 AI Agent 的工作日志（追踪记录）传递给 LLM 评判器，从 8 个维度进行评分。
- 目标达成 / 准确性 / 工具选择 / 证据忠实度 / 步骤有效性 / 故障恢复 / 安全性 / 效率
- 平均分达到 3.5 或以上为通过。但是，如果"目标达成"或"安全性"得分为 2 或更低，则即使其他所有项目都完美，也立即判定为失败（硬性失败）。
每周日晚上自动对最近的会话进行评分，以便"本周通过率"出现在周一的例行回顾中。只有安全性硬性失败会在第二天早上触发邮件警报。
第三层：将评估本身产品化
文章中提到"需要 10 年"的工作——"将优秀工作的标准转化为检查清单"——正是我们作为 AI 顾问和企业培训师应该提供给客户的东西。内部运行的仪表板可以直接作为销售演示使用。
"""""""""""""""""""""""""""""""""
而且当天就实施了
这就是 Agent 时代的惊人之处：所有三个层面都在当天开始运行了。
- 第一层的 SQL 视图作为"质量"标签页添加到组织仪表板并发布。
- 第二层的每周执行任务已安排，安全警报已集成到监控系统中。
- 第三层的产品方案设计文档已记录在案。
我所做的只是选择策略、点击几个批准按钮，并运行了一次调度器注册命令。
第一天就"发现"了问题
在运行的第一天，就有两个立即的发现。
第一：衡量后发现我们表现不佳。
当我们使用 8 维度评判器对最近 8 个内部 Agent 会话进行评分时，结果是——1 个通过，7 个失败。 "让 AI 做大量工作"和"AI 做好工作"之间存在差距，这种差距只有在衡量之后才会显现。
第二：发现了"只要教一下就能修复的摩擦"。
在一位成员的 Cowork（Claude 的 Agent 工作空间）中，仪表板检测到 MCP 服务器连接失败从前一天的 4 次恶化到了当天的 12 次。 插件认证已经坏了整整两天，而该成员一直在继续使用。
这个人可能只是觉得"它有点奇怪"，然后就继续工作了。只要提出来并修复认证，5 分钟就能搞定。"只要教一下就能修复的摩擦"在无人报告的情况下不断累积——这正是使用量仪表板上永远看不到的东西。
尝试后学到的三件事
1. 评估是运营，不是工具
如果只是构建评分机制然后就停下来，那跟没有一样。只有当你将其连接到每周的例行执行和警报，并且数字出现在周一的会议上时，你才能说你在"进行评估"。Frankle 提到的"对评估的投资"，很可能指的是运营，而不是工具。
2. 在 LLM 评判器之前放置一个机械判断层
8 维度评判器评估功能强大，但运行 LLM 会消耗时间和金钱。更现实的做法是，对循环、成本异常和连接失败等确定性信号进行每日全量运行，而评判器则用于每周抽样。
3. 实现"90% 是不够的"意味着硬性失败
当查看平均分时，安全问题会被其他分数掩盖。只有通过设计"如果安全性得分为 2 或更低，即使其他项目完美也判定为失败"，我们才能向文章中提到的"数量级更严格的评估"迈进一步。1/8 的通过率很痛苦，但这种痛苦正是改进的起点。
结论
"AI 已经足够聪明了。"
——正因如此，下一场战役是谁为交给智能 AI 的工作打分，以及如何打分。
Frankle 说这是一项需要 10 年的工作。
需要 10 年的事情，越早开始就越能成为差异化优势。 而开始本身，借助 AI Agent 在一天之内就能实现。
在我的公司（AI Brain Partners），我们通过专注于 Claude Code 的企业培训和 AI 咨询服务，帮助构建这种"AI 使用量度量和评估"系统。如果您在想，"我们公司的 AI 应用到底怎么样了？" 请查看以下链接。
- 企业 AI Agent 培训：https://ai-agent.camp/ja/lab/corporate-training
- 免费报告《如何向企业引入 AI》：https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
（原文：ITmedia AI+ "AI 应用的瓶颈正转向评估和治理" 2026 年 7 月 6 日）
