Nadella の 7 つの原則、Dynatrace による 9 億 1,500 万ドルの Arize 買収、そして AI エージェントを誰がチェックすべきかをめぐる CIO、創業者、投資家の議論。2026 年 10 月更新。
AI エージェントは返金の説明を完璧にこなしても、間違った口座にお金を振り込んでしまうことがあります。会話ログは問題なく読めても、取引自体は間違っているのです。
こうした問題を検知するためのプロダクトは、オブザーバビリティ、評価（エバリュエーション）、アシュアランスの 3 つに分かれています。ベンダーはこれらを統合し始めています。買い手側もそれに追随するのかは未定であり、もう一つの疑問、つまり「誰がチェックすべきで、何が独立とみなされるのか」も同様に答えが出ていません。
AI は単に質問に答える段階から、行動を実行する段階へと進化しています。Gartner は、2028 年までにエンタープライズ向けソフトウェアアプリケーションの 3 分の 1 がエージェント型 AI を搭載すると予測しており、これは 2024 年の 1% 未満からの急増です。これらのエージェントはコードを書いて提出し、送金し、顧客とコミュニケーションを取りますが、多くの場合、人間がリアルタイムで監視する必要はありません。
ソフトウェアが答えを出すだけだった時代、主な関心事は「その答えは正しいか」でした。しかしエージェントはより多くの問いを生み出します。何をしたのか、それは正しかったのか、誰かが責任を持てるのか、そして止めることはできるのか。CIO にとって、これらはエンジニアリングの問題であると同時に、AI ガバナンスやリスク管理の問題でもあります。
現在、この領域の一部をカバーする市場が 3 つ存在します。
- AI オブザーバビリティ：AI が何をしたかを記録します。
- AI 評価：それをどの程度うまく実行したかを測定します。
- AI アシュアランス：証拠、コントロール、およびその限界を一つにまとめ、人間が責任ある意思決定を行えるようにします。英国政府はこれを、信頼性を測定・評価・伝達するプロセスであると説明しています。
AI オブザーバビリティは 2025 年に 12 億 5,000 万ドル規模の市場 であり、同調査ではその中でも評価と品質保証が最も速く成長すると見込まれています。Dynatrace は 2026 年 10 月 1 日に Arize の買収を完了 し、評価とオブザーバビリティを統合する 9 億 1,500 万ドル のディールとなりました。Cisco も 5 月に Galileo の買収を完了 しています。10 月 10 日には、Satya Nadella が AI を信頼するための 7 つの原則を発表し、これら 3 つの市場すべてに関わる内容となりました。
本稿の残りの部分では、AI がどのようにしてこの段階に至ったのか、Nadella が何を提案したのか、そして市場の行方に関する 5 つの代表的な立場からの議論を取り上げます。
ルールから AI エージェントへ：なぜ信頼が難しくなったのか
4 つのステージでたどる簡略化された歴史です。各ステージでマシンはより有能になり、同時に説明が難しくなりました。
- ルール（おおむね 1950 年代〜 2000 年代）。 ほとんどのソフトウェアアプリケーションは、人間がステップごとに手作業で記述していました。バグは数多くありましたが、エンジニアはコードを開いて原因となる行を見つけることができました。
- パターン（2010 年代）。 ディープラーニングにより、画像認識や音声認識などのタスクにおいて、マシンはルールの代わりに事例から学習するようになりました。ロジックを書いた人間はいません。これらのシステムは主にラベル付け、ランキング、レコメンドを行い、出力結果をどう扱うかは人間や通常のソフトウェアが判断していました。
- チャット（2022 年〜 2024 年）。 チャットボットは文章を書き、要約し、議論できるようになりました。間違いも多かったものの、通常は人間が回答を読んでから行動に移していました。
- エージェント（2025 年以降）。 エージェントはクリックし、入力し、購入し、コードを書き、デプロイします。ラボでは、シミュレーションされたオフィス、ブラウザ、コードベース内でタスクを練習させることでトレーニングを行います。なかには、人間が各ステップを確認することなく長時間稼働し続けるものもあります。
チャットの段階では、悪い回答のコストはせいぜい読み直しの手間でした。しかしエージェントの段階では、誤った行動が資金、データ、あるいは顧客の喪失につながる可能性があります。
ソフトウェアがコストのかかる自動意思決定を行うようになったのは、エージェントよりもずっと前のことです。現在の違いは、単一の汎用モデルが複数のツールをまたいで一連のアクションを選択・実行する点にあります。何か問題が起きた場合、原因はモデル、プロンプト、取得したデータ、API、古いメモリ、権限、あるいは 2 つのエージェント間のやり取りなど多岐にわたります。最終的な回答は、証拠の一部にすぎません。
Nadella は過去の状況をこう表現しています。従来のソフトウェアでは、「特定のコードパスまで挙動を追跡するためのツールと能力」がありました。しかし現在のモデルでは、特定の判断の背後にある学習データや重みを誰も指し示すことができません。これら 3 つの市場は、まさにそのギャップを埋めようとしています。
Satya Nadella の AI ガバナンスフレームワーク：AI エージェントを信頼するための 7 つの原則
2026 年 10 月 10 日、Nadella は自身のブログで「超知能時代におけるインサイダーリスクとしてのモデル」と題した記事を投稿しました。彼の中心的な提案は、「知性の供給と、それに対する権限を分離する必要がある」というものです。
彼は高性能なモデルを、広範なアクセス権を持つ従業員に例えています。懸念されるのはモデルが悪意を持っていることではありません。重要なシステムにアクセスできる者は誰でもミスを犯したり侵害されたりする可能性があるため、アクセス範囲を制限し、行動を記録し、いつでも停止できるようにしておく必要があります。彼の言葉を借りれば、「観察できないものは、信頼できない！」ということです。
彼はこれらを 7 つの「オブザーバビリティ原則」と呼んでいます。全体を通して読むと、これらはエージェント向けの AI ガバナンスフレームワークとして機能します。以下に各原則を要約し、続けて現在それをカバーしている市場との対応関係を私なりに示します。
- モデルの多様性： 単一の AI が自分の作業を自己チェックしたり、重要な判断を単独で行ったりしないこと。現在の市場：評価。
- すべてを観察する： 意味のあるすべてのアクションが、人間が読める改ざん不可能な証拠を残すこと。現在の市場：オブザーバビリティ。
- 検証可能性： 攻撃、障害、エッジケースを含め、システム全体が継続的にテストされること。現在の市場：評価とアシュアランス。
- 独立したコントロール： AI がアクセスできる範囲を決めるルールは、AI が変更できない外部に配置すること。現在の市場：主にセキュリティおよびアクセス制御ツール。ガードレールが AI プラットフォームに登場し始めた段階。
- 独立した監査可能性： AI の挙動に関する証拠は、チェック対象の AI とは切り離して保持すること。現在の市場：アシュアランス。
- コンテインメント（封じ込め）： 権限を持つ人間が、タスクの途中でモデルを一時停止またはシャットダウンできること。現在の市場：主にランタイムおよびセキュリティツール。
- インシデントの開示： 失敗した際には影響を受けた者に通知し、教訓を共有すること。現在の市場：企業慣行として実施されており、オブザーバビリティの記録がそれを支える。
7 つのうち 2 つ以上をカバーする市場は一つもありません。独立したコントロールとコンテインメントは、主にこれら 3 つの市場の外側、つまりセキュリティおよびランタイムツールの領域にあります。全体として見ると、これらの原則は 3 つの市場を合わせたよりも大きなシステムを描き出しています。
彼の結びの言葉はこうです。「最も信頼できる超知能システムとは、私たちが最も信頼するモデルを搭載したものではない。むしろ、モデルを最も信頼せずに済むようにしてくれるシステムだ。」
モデルへの信頼を最小限に抑えるには、何をしたかの記録（オブザーバビリティ）、それを判断する手段（評価）、そして人間が責任を持てる証拠（アシュアランス）が必要です。さらに、これまで主にセキュリティやランタイムツールに任されてきた 2 つのもの、すなわちモデルが変更できないコントロールと、人間がそれを停止する手段も必要になります。
AI オブザーバビリティ vs 評価 vs アシュアランス：現在の市場
AI エージェントを、新しく雇われたドライバーだと考えてみてください。
- オブザーバビリティはドライブレコーダーです。 すべてのハンドル操作、停車、ヒヤリハットを記録し、「AI は何をしたのか？」に答えます。主にシステム運用チーム向けに販売されています。
- 評価は運転免許試験です。 決められた状況でのドライバーの対応を採点し、「どれくらい優秀か？」に答えます。主に AI プロダクトを開発するエンジニアが購入しますが、最近は QA チームの導入も増えています。
- アシュアランスは車検レポートです。 初回走行前および走行中を通じて、車とドライバーが公道を走るのに適しているかを判断するために必要な証拠を集めます。「これに責任を持つだけの十分な証拠があるか？」に答えます。どんな検査でも車が絶対に事故を起こさないことを証明することはできません。優れたレポートは、何をチェックし、何が見つかり、何が不明のままなのかを明示します。これは 3 つの中で最も発展途上であり、現在は品質、リスク、コンプライアンスの各チームに業務が分散しています。
AI が答えを出すだけだった時代は、買い手ごとにツールが分かれていても十分機能していました。しかしエージェントの時代になると、その隙間がより重大な問題になります。それぞれのツールは単体でも有用ですが、誰も確認しない映像はほとんど証明にならず、毎週ドライバーが変わる環境ではテスト結果がすぐに陳腐化し、レポートはその裏付けとなる映像とテスト結果に依存します。
最近の AI オブザーバビリティおよび評価プラットフォームの買収事例：
- 2026 年 10 月、Dynatrace が Arize を 9 億 1,500 万ドルで買収 し、評価と本番環境モニタリングを統合。
- 2026 年 5 月、[Cisco が Galileo を買収](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo) し、Splunk 向けにエージェントの評価、モニタリング、ガードレールをカバー。
- 2026 年 2 月、[Snowflake が Observe を買収](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm) し、データプラットフォームにオブザーバビリティを組み込み。
- 2026 年 2 月、[ClickHouse が LLM トレーシングツールの Langfuse を買収**](https://wetheflywheel.com/en/ai-observability/)。
Dynatrace は、Arize の買収によって評価とオブザーバビリティが統合され、チームがリリース前に AI をチェックし、リリース後も信頼性を維持できると述べています。Cisco は、Galileo が初期の評価から本番環境のモニタリング、ガードレールまでをカバーすると説明しています。
これらのディールは、ベンダー側がプロダクトを統合していることを示しています。しかし、買い手側が予算を統合したり、専門ツールをやめたり、自社の AI を運用している企業からアシュアランスを購入したりしている段階には至っていません。本稿の残りの部分は、そうした疑問についてです。
