2026年7月6日、ITmediaにこんな記事が出ました。
「AI活用のボトルネックは、モデルの性能向上から『評価』『ガバナンス』『コスト効率』へシフトしている」——語っているのは、DatabricksのチーフAIサイエンティストで、MosaicMLの共同創業者でもあるジョナサン・フランクル氏。
氏の主張はシンプルです。
- AIはもう十分に賢い。 既存モデルの活用方法を考えるだけで「数十年分の仕事が残っている」
- より良いAI実装に必要なのは、賢いモデルの開発ではなく評価とガバナンスへの投資
- AIは「70％や90％の正確性では不十分」で、桁違いに厳密な評価が要る
- そして最大の難題は「良い仕事とは何か」という人間の基準をチェックリストに落とし込むこと。これは「次の巨大モデル開発よりはるかに難しく、10年以上かかる可能性がある」
読み終えて、正直ぐさっと来ました。
最近AIの「利用量」の計測はいろいろ試してきました。「DataBricks」×「Claude Code・Codex・Cowork」の利用テレメトリを OpenTelemetry で吸い上げて Databricks に流し、「誰が・どのツールを・どれだけ使い・いくらかかったか」が毎朝自動で更新されるダッシュボードがあります。
でも記事の指摘はそこじゃない。「その仕事は良かったのか？」——Agentの品質の評価が、ぽっかり空いていました。
Fableに記事を渡して「僕らが評価するべきものを考えて」と頼んだ
そこで、いつも使っている Claude（Fable 5）に記事のURLを渡して、こう頼みました。
この記事を読んで、僕らが評価するべきものを考えて欲しいです
Fableは社内のログ基盤やダッシュボードの構成をひととおり調べた上で、「評価すべきものは3層ある」という設計を出してきました。
Fableの答え：「評価すべきもの」は3層ある
以下アドバイス"""""""""""""""""""""""""""""""""
Layer 1：摩擦シグナル（毎日・全員・機械判定）
LLMに聞くまでもなく、ログから機械的に拾える「質が悪い予兆」があります。
- ループ疑い：同じツールを5回以上連続で叩いている
- コスト外れ値：1セッションで5ドル以上溶かしている
- ブロック頻度：人の確認待ちで何度も止まっている
- キャッシュ効率：コンテキストの使い回しが下手（＝毎回読み直している）
- ツール接続の失敗：MCPサーバーへの接続が失敗し続けている
Layer 2：仕事の質（週次・LLM Judge）
AIエージェントの作業ログ（トレース）を、LLMの審判（Judge）に渡して8つの軸で採点する仕組みを作る。
- 目的達成度 / 正確性 / ツール選択 / 根拠の忠実さ / 手順の妥当性 / 失敗からの復帰 / 安全性 / 効率
- 平均3.5点以上で合格。ただし「目的未達」か「安全性」が2点以下なら、他が満点でも即・不合格（hard fail）
毎週日曜の夜に直近のセッションを自動採点して、月曜の定例レビューに「今週の合格率」が乗るようにする。安全性のhard failだけは翌朝メールでアラート。
Layer 3：評価そのものを商材にする
記事が「10年かかる」と言っている仕事——「良い仕事の基準をチェックリストに落とす」——は、まさにAI顧問・法人研修をやっているうちが顧客に提供すべきものでは？ 自社で動いているダッシュボードが、そのまま営業デモになります。
"""""""""""""""""""""""""""""""""
で、その日のうちに実装された
ここからがエージェント時代のすごいところで、この3層がその日のうちに全部動き始めました。
- Layer 1 のSQLビューが組織ダッシュボードに「品質」タブとして追加され、公開
- Layer 2 の週次実行がスケジュール登録され、安全性アラートが監視系に組み込まれ
- Layer 3 のオファリング設計書がドキュメント化され
私がやったのは、方針の選択と、いくつかの承認ボタンと、スケジューラ登録のコマンドを1回叩いたことだけです。
初日から「見つかった」
そして動かした初日、さっそく2つの発見がありました。
1つめ。測ったら惨敗していた。
8軸のJudgeで直近の自社エージェントセッション8件を採点したところ、結果は——合格1件、不合格7件。「AIにたくさん仕事をさせている」と「AIが良い仕事をしている」の間には、測って初めて見える距離がありました。
2つめ。「教えれば直る摩擦」が見つかった。
あるメンバーの Cowork（Claudeのエージェントワークスペース）で、MCPサーバーへの接続失敗が前日4件→当日12件と悪化していることをダッシュボードが検出したんです。プラグインの認証が壊れたまま、2日間使い続けていた。
これ、本人は「なんか調子悪いな」くらいで作業を続けていたはずです。声をかけて認証を直せば5分で解決する。「教えれば直る摩擦」が、誰にも報告されないまま溜まっていく——これこそが、利用量のダッシュボードでは絶対に見えなかったものでした。
やってみて分かった3つのこと
1. 評価は道具ではなく運用
採点の仕組みを作って終わりなら、無いのと同じです。週次の定期実行とアラートに繋いで、月曜の定例に数字が乗って、初めて「評価している」と言えます。フランクル氏の言う「評価への投資」は、たぶん道具の話ではなく運用の話です。
2. LLM Judgeの前に、機械判定の層を置く
8軸のJudge評価は強力ですが、LLMを回すのでコストも時間もかかります。ループ・コスト外れ値・接続失敗みたいな決定的シグナルを毎日全量で回し、Judgeは週次サンプリング。この2段構えが現実的でした。
3. 「90%では不十分」の実装は hard fail
平均点で見ると、安全性の問題が他の点数に埋もれます。「安全性が2点以下なら他が満点でも不合格」という設計にして初めて、記事の言う「桁違いに厳密な評価」に一歩近づく。合格1/8という数字は痛いですが、この痛さが改善の出発点です。
おわりに
「AIはもう十分賢い」
——だからこそ、賢いAIに任せた仕事を誰がどう採点するのかが次の勝負になります。
フランクル氏はこれを10年仕事だと言いました。
10年かかるものは、早く始めた分だけ差になります。そして始めること自体は、AIエージェントと一緒なら1日でできました。
うちの会社（AIブレインパートナーズ）では、この「AI利用の計測と評価」の仕組みづくりを、Claude Code特化の法人研修やAI顧問の中でお手伝いしています。「うちのAI活用、実際どうなってるんだろう」が気になった方は、下記からどうぞ。
- 法人向けAIエージェント研修：https://ai-agent.camp/ja/lab/corporate-training
- 無料レポート「AIを企業導入するには——国内外50事例から見えたもの」：https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
（元記事：ITmedia AI+「AI活用のボトルネックは評価・ガバナンスへ」2026年7月6日）
