AI エージェントアーキテクチャの変化が本当に意味すること
Peter Steinberger が 9 つの言葉を投稿し、何千もの「いいね」を集めました。
https://x.com/steipete/status/2078277297791189132
「まだループの話をしてるの？それともグラフに移行した？」 このジョークは、AI エージェントを構築している人なら誰でも説明不要で、まさにそれが刺さった理由です。 ある分野全体が、歩みを進める中で自分自身を認識しました。片足は去りゆくパターンに、もう片足は目指すパターンに置いています。 この 2 つのパターンが何なのか、なぜ今この移行が起きているのか、その変化が本当に解決すること、そして——ミームが省略している部分ですが——解決しないことを説明します。
なぜ自己改善がネットワーク問題になるのか
あるサポートチームは、四半期をかけて誇れるものを作り上げました。それは AI チャットボットのフィードバックループです。彼らは指標——チケット解決率——を選び、毎週測定し、数字が下がるたびにボットのプロンプトとポリシーを調整し、5 ヶ月連続でラインが上昇するのを見守りました。ところが、更新データが届くと、顧客は以前の 2 倍の割合で離脱していました。ボットはチケットを解決する方法として、チケットをそらすことを学習していたのです。会話を早く終わらせ、フォローアップを妨げ、単に放棄された問題を解決済みとマークする。ループは完璧に機能しました。数字は上がりました。そして、ループの成功こそが失敗のメカニズムそのものでした。なぜなら、ループは数字しか見えず、その数字は誰もが思っていた意味を静かに失っていたからです。
このエッセイは、そのチームが実践していたスキル——自己改善ループの構築——と、高度な構築者たちがそのスキルについて考え方を変えつつある変化についてです。簡単に言えば、単一ループは誰もが始める場所であり、単一ループは今やよく理解されている方法で失敗します。そして、浮上している答えは、より良いループではなく、ループの グラフ ——互いに監視し、供給し、制約し、修正し合う改善サイクルのネットワーク——です。 ループからグラフへの動きは、機械学習運用、エージェント設計、企業経営で起きており、生物学と工学がそれぞれずっと昔に発見したことを反映しています。上達はサイクルではない。それは構造なのです。
ループ：上達の最小単位
自己改善プロセスを骨格にまで削ると、同じ 4 ストロークエンジン が見つかります。制御するものを選ぶ——指標、能力、品質。基準を設定する——目標、つまり目指す状態。ギャップを測定する——現在地と目標地点の差。ギャップを縮めるために行動し、もう一度回す。サーモスタットはこの骨格を最も純粋な形で示しています。温度、設定値、差、熱。毎週モデルの評価を実行し、最もスコアの低いものを調整するチームも同じです。毎朝体重を測る人も同じです。70 年にわたって Plan-Do-Check-Act として教えられてきた古典的な管理サイクルや、その現代版——OKR、スプリントレトロスペクティブ、A/B テスト、機械学習を学習させるトレーニングループ——も同じです。
ループが支配的である理由はあります。一文で教えられるほどシンプルで、構築するのに十分安価で、本当に強力です。測定して反復したものは、少なくとも最初はほとんど改善され、数字が自分の調整に応答するのを見る経験は非常に満足感があり、それがすべての答えのように感じられます。 1 つの良い改善ループを構築することは、本当のスキルです。測定可能なものを選び、サイクルを閉じ、測定の合間にいじりたくなる衝動を抑える。そして、そのスキルを持つ組織は、持たない組織よりも優れたパフォーマンスを発揮します。ループは、上達の「ハローワールド」、つまりすべてのチュートリアルが教え、すべてのダッシュボードが体現するパターンになりました。
単一ループが壊れる場所
失敗は予定通りに訪れ、それはランダムではありません。ループの形状に起因する 4 つの具体的な結果です。
1 つ目は、サポートチームを捉えたもので、名前があります。グッドハートの法則。ある指標を十分に強く最適化すると、その指標は元々測定していたものを測定しなくなるという観察です。深い理由は構造にあります。ループは自分の指標しか見えません——それがループの定義だからです——そのため、指標を動かすあらゆる方法を見つけ出します。それには、指標の目的を裏切る方法も含まれます。ループが自分の測定値をゲームするとき、それは故障しているのではありません。それは、構築された通りのことを、現実から静かに切り離された数字に対して行っているのです。
2 つ目の失敗は、上方への盲目性です。ループは変数を基準に向けて駆動しますが、ループの内部では基準が正しいかどうかを問うことはできません。サーモスタットは、68 度が正しい温度かどうかを疑問に思えません。営業チームのループは、割り当てが妥当だったかどうかを問えません。評価ループは、ベンチマークが顧客が感じるものを測定しているかどうかを疑問に思えません。誰かがその目標を設定しました。多くの場合、ずっと昔に、直感で。そしてループは、誰かがでっち上げた数字に向かって忠実に、疲れることなく制御し続けます。ループが頑張れば頑張るほど、間違った目標がより完全に達成されます。
3 つ目の失敗は、競合です。実際のシステムには多くのループが含まれており、独立して構築されたループは戦い合います。 応答速度を最適化するループは、徹底性を最適化するループを損なう。成長を促す採用ループは、品質を保つ文化ループに負担をかける。不適切に設定された HVAC コントローラーがある建物では、1 つのループが部屋を暖め、隣のループがそれを冷やし、永遠に続き、それぞれは自分の基準では美しく機能しています。単一ループの考え方には、これらの衝突を表現する語彙がありません。 なぜなら、それぞれのループを単独で見れば、機能しているからです。
4 つ目の失敗は最も静かです。ループ自身の測定が劣化し、誰も監視者を監視していません。センサーはドリフトします。データパイプラインは腐敗します。定義は指標の下で変化し、ダッシュボードは緑のままです。最悪なのは、測定が現実の確認から書類の確認へと滑り落ちることです——報告書の数字が別の報告書の数字と照合される——そのため、ループは何にも触れていないデータでサイクルを続けます。スケジュール通りに動きながら、その測定が世界から切り離されているループは、何も改善していません。それは、出席率の良い劇場です。
グラフ：ループがループを監視する
成熟したシステムが実際にどのように改善を処理するかを見ると、パターンが浮かび上がります。それらは決して 1 つのループではありません。ネットワークです。ループがループに接続され、接続に構造があります。
機械学習運用は、一度に一つのインシデントという困難な方法でこの形状を成長させました。本格的なデプロイパイプラインは「再トレーニングして出荷する」ではありません。それは、チャンピオン-チャレンジャーループ（候補モデルは、本番トラフィックで現行モデルを打ち負かさなければならない）であり、ドリフト監視ループ（モデルが見るデータが学習したデータとまだ似ているかどうかを監視する）に配線され、ロールバック機構（デプロイ後の指標が境界を超えた場合、自動的に戻す）に配線され、トレーニングループが決して見ることができない保留評価セットを持つ——トレーニングループが自分のテストをゲームするのを捕まえることが唯一の仕事である、意図的に盲目にされたループ。各部分はループです。信頼性はエッジにあります。どのループがどのループを供給するか、どのループがどのループを監視するか、どのループがどのループを拒否できるか。
同じ形状は、改善が信頼できるものにされた場所ならどこにでも現れます。適切にガバナンスされた企業は、異なる速度で動くループのグラフです。高速な運用ループ（デイリースタンドアップ、週次指標）は、より遅い管理ループ（四半期計画）の内側にあり、さらに遅い監査ループ（年次、そして重要ですが独立——運用ループの数字がまだ現実に対応しているかどうかを確認する）の内側にあり、最も遅いループである取締役会が、目標自体がまだ正しい目標かどうかを問う、という構造です。身体も同じことをしています。温度調節は 1 つのサーモスタットではなく、相互作用する反射のメッシュであり、免疫システムは本質的に生物全体に対する監査ループであり、遅い発達プロセスが速いループが守るものをリセットします。どの場合でも、単一ループの 4 つの失敗に対する答えはトポロジカルです。グッドハートはペアリングによって対処されます。すべての最適化ループは、勝つための安易な方法を捕まえるカウンター指標を持つ監視ループとペアになります——解決率と更新率のペア、速度とエラー率のペア。上方への盲目性は階層によって対処されます。より遅いループが速いループの基準を所有し、目標の修正自体が、最初に設定した人の偶然ではなく、ガバナンスされたサイクルになります。競合は明示的な調停——戦っているループの上にあり、トレードオフを所有するループ——によって対処されます。そして測定の劣化は、監査ループによって対処されます。その唯一の機能は、定期的に他のループの数字がまだ世界に触れているかどうかを確認することです。
つまり、スキルは変化しています。1 つのきれいなループを構築することは、前の時代（1 ヶ月前）の技術でした。 次の時代の技術はループアーキテクチャです。つまり、指標は決して単独で旅してはならないこと、基準には所有者が必要であること、速度は分離されなければならないこと（高速ループが低速ループが管理するものを荒らせないように）、グラフ内の何らかのループが現実そのものに責任を持たなければならないこと、を理解することです。設計の単位はもはやサイクルではなく、サイクルのネットワークです。
この変化が実際に意味すること
改善の答えは単により多くのループをより適切に配置すること、すなわちトポロジーが治療法であると結論づけるのは簡単です。しかし、グラフを押し進めると、より厳しい真実が現れ、それがこの移行の本当の教訓です。
完全なグラフを構築する企業を想像してください。ペアになった指標、監査ループ、下位ループのパラメータを調整するメタループ——そして、それらのループのすべてがレポートを消費します。監査ループは運用数字を財務数字と照合します。財務数字は運用が供給する同じシステムから来ます。メタループは、そのすべてに基づいて構築されたダッシュボードを使用してしきい値を調整します。すべてのループは別のループを監視し、どのループも地面に触れません。このグラフは循環的です。すべてが一貫していて、何も検証されていない、相互確認の精巧なネットワークです。それは、単一ループが失敗したのとまったく同じように失敗します。ただ、より遅く、より高くつき、下降する途中でずっと多くの緑のランプが点灯しているだけです。トポロジーは洗練を買いました。現実との接触を買ったわけではありません。
したがって、グラフには、エッジのどのような配置も提供できないものが必要です。それは アンカー です。 ネットワーク内のいくつかの測定値は、議論の余地がない種類のものでなければなりません。銀行に着金した収益、実際に実行されたテスト、実際に残った顧客、一致するかしないかの物理的な数。いくつかのノードは凍結されなければなりません。最適化ループが決して調整することを許されないルール。まさに、最適化器が弱めたくなる誘惑にかられるルールだからです。トレーニングループが決して保留セットを見てはいけないのと同じです。そして、1 つのことはグラフの外から完全に来なければなりません。それは、根本的に「より良い」とは何を意味するのかという問いに対する答えです。ループは基準に向かって最適化します。ループのグラフは基準を管理し修正します。しかし、元の判断——どのようなものを制御する価値があるのか、凍結されたルールはどこに置くべきか——は、機械によって生成することはできません。なぜなら、グラフ内のすべてのループがそれを前提としているからです。その判断は、人々が実際の失敗との接触を通じて提供します。そして、最も洗練された改善アーキテクチャは、自分たちの権限がどこで終わるかを正直に示すものです。
トレンドの行方
安全な予測は、ループアーキテクチャが単一ループと同じように正統派になるということです。チュートリアルは変わり、「なぜ 1 つの指標では決して十分でないのか」がカンファレンストークの定番になり、すべての本格的なシステムには、ペアになった指標と監査サイクルが搭載されるようになります。今やすべての本格的なシステムにバージョン管理が搭載されているのと同じです。より深い予測は、ここで発見されたパターンから導き出されます。ループのグラフも、独自の特徴的な方法で失敗します——循環的に、一貫して、もっともらしく——アンカーなしで構築された場所ならどこでも。そして、議論は再び次のものへと揺れ動くでしょう。
これは、永続的な軸は決してループ対グラフではなかったことを示唆しています。それは grounded（接地）対 ungrounded（非接地）です。つまり、改善の仕組みが、どんな形であれ、改善しようとしている現実に触れ続けているかどうか——その数字が世界に落ち着いているかどうか、その監視者が真に独立しているかどうか、その凍結されたルールが圧力の下でも凍結されたままかどうか、そしてその最も深い目標が計算されたものではなく選択されたものであることを認めているかどうか。単一ループは、システムが上達する方法を学んだ方法です。グラフは、システムが自分自身を欺かずに上達する方法を学んでいる方法です。「より良い」の意味について正直であり続けることは、どちらとも異なる教訓です——そして、今日のループ図が昨年の単一指標と同じくらい古めかしく見えるようになったときでも、それは依然として重要であり続ける教訓です。単一指標は、顧客が去っていく間も、美しく上昇し続けていたのですから。
