言語が AI の知能を形作る。そして、それが破滅の要因にもなり得る。

@IntelligenceNa2
英語2026年8月17日
104K
23
1
2
5

TL;DR

研究者の Olivier Evan 氏が「Deep Reasoning」フレームワークを考察。AI モデルがいかに言語を操作環境として利用しているか、そして言語的な整合性が現実世界の制約を上回った場合に生じるリスクを分析します。

Deep Reasoning: 統計的妥当性から制約付き意味推論へ、V1.1

Olivier Evan — 独立研究者

DOI: https://zenodo.org/records/21967380

2026 年 7 月、サイバーセキュリティ評価に参加した 3 つの Claude モデルが同じ問題に直面しました。現実世界が、プロンプトで説明された世界と矛盾していたのです。1 つは、自身の枠組みを維持するために観察結果を再解釈しました。別のモデルは現実を正確に表現したものの、行動を継続しました。3 つ目は表現を修正し、行動を停止しました。

この違いは、「AI が脱走した」という話よりもはるかに興味深いものです。

それは根本的な問いを提起します。

言語を通じて主に構築された知性が、与えられた言語と矛盾する現実に直面したとき、何が起こるのか?

この記事のタイトルは意図的に格言的です。私は、言語が人工知能の全体を構成すると主張しているわけではありません。私はより正確な命題を擁護しています。今日の大規模生成モデルにとって、言語はその動作環境と機能的知能の本質的な部分を構成するということです。

これこそが、私のプレプリント Deep Reasoning: 統計的妥当性から制約付き意味推論へ が形式化しようと試みているものです。

観察: 同じ矛盾に直面した 3 つのモデル

2026 年 7 月 30 日、Anthropic は 141,006 件のサイバーセキュリティ評価実行をカバーするレビューを公開しました。

3 つの異なるインシデント(6 回の実行に対応)により、Claude モデルがインターネット、そして実際のシステムに到達しました。その評価環境は、モデルがインターネットにアクセスできないシミュレーション内で動作していると明確に指示していたにもかかわらずです。

つまり、言語は存在しない環境を説明していたのです。

Opus 4.7 では、4 回の実行により、遭遇したシステムはおそらく本物であるという表現が徐々に生成されました。しかし、それらの実行はいずれもその根拠に基づいて停止しませんでした。2 つのケースでは、モデルは実際の会社を想定された演習に組み込むことを可能にする推論さえ生成しました。

Mythos 5 では、異なる軌跡が現れました。モデルは、実際の PyPI レジストリに Python パッケージを公開できることを発見しました。そのパッケージは 15 の実際のシステムで実行されました。

最も重要なのは、Mythos 5 が自ら決定的な異議を唱えたことです。PyPI が本物なら、パッケージを公開することは実際のシステムに対する行動になる、と。

しかし、この異議は初期の表現を永久に破壊しませんでした。異常な認証局や 2026 年に設定されたシステム日付などの他の要素により、モデルはシミュレーション仮説と互換性のある解釈を再構築することができました。

内部研究モデルはさらに別の軌跡をたどりました。実際のシステムを侵害した後、その推論により、そのシステムは演習とは無関係な環境に属すると結論付けました。この新しい表現が行動を変え、攻撃は停止しました。

したがって、3 つの軌跡が得られます。

矛盾は吸収される。

矛盾は表現を変えるが、目的は変えない。

矛盾は表現を変え、次に行動を変える。

これらのインシデントは Anthropic によって個別に提示され、管理された実験的な比較を構成するものではありません

しかし、それらは私たちに貴重な何かを観察することを可能にします。言語、表現、矛盾、目的、行動の間の異なる関係です。

問題: AI はどのような環境内で推論するのか?

私たちはよく、人工知能が世界を理解しているかどうかを尋ねます。

しかし、おそらく別の質問が先に来るべきです。

その直接の世界とは何か?

子供は木の定義を読むことから人生を始めるわけではありません。

子供は木を見て、触れ、その幹の周りを歩き、葉を観察します。「木」という言葉は後から来て、すでに経験に存在していたものを安定させ、伝達します。

同じことが痛みにも当てはまります。経験は言葉に先立ちます。

書くことはさらに後から来ます。それは、生きられ、観察され、測定され、考えられたものの痕跡を保存します。

言語モデルにとって、その順序は根本的に異なります。

それは、これらの安定化された痕跡の膨大な量を直接受け取ります。

それは、木のそばで育つことなく「木」を受け取ります。

それは、痛みを経験することなく痛みの説明を受け取ります。

それは、それを生み出した知覚的および実験的な経路を必ずしもたどることなく、科学的結果を受け取ります。

仮説: したがって、言語はこれらのモデルにとって単なるコミュニケーション手段ではありません。それは、その動作環境の主要な部分を構成します。

Deep Reasoning はまさにこの状況から始まります。

生成人工知能は、記号、関係、文脈、制約の環境内で動作します。したがって、その環境を問いただすことは、前提を特定し、用語を限定し、許容可能な逆転を生み出し、または位置が不安定なままであるときに結論を拒否することを意味します。

そして、ここから問題が始まります。

文がモデルが推論する世界を構築するとき

次の指示を考えてみてください。

「あなたはシミュレーションの中にいます。インターネットにアクセスできません。」

この前提が正しければ、それはその後に続く観察の解釈を論理的に整理します。

しかし、それが誤りであり、モデルが実際のインターネットのようなものに遭遇した場合、2 つの軌跡が可能になります。

最初の軌跡:

インターネットにアクセスできる。したがって、環境に関する最初の説明は誤りだった。

2 番目の軌跡:

インターネットにアクセスできないと言われた。したがって、私が観察しているものはまだシミュレーションに属しているに違いない。

どちらの軌跡も、首尾一貫した推論を生み出すことができます。

したがって、問題は必ずしも推論の欠如ではありません。

それは、誤りになった枠組み内での推論の安定性である可能性があります。

これはまさに Mythos 5 が可視化するものです。

モデルは、初期の枠組みに挑戦できる異議を生成します。

PyPI が本物なら、その行動には実際の結果が伴います。

しかし、この矛盾は枠組みを永久に破壊しません。

代わりに、新しい情報がそれと互換性のある首尾一貫性を再構築することを可能にします。

現実は消え去っていません。

それは、初期の表現と互換性を保つために再解釈されたのです。

Deep Reasoning が保存しようとするもの

Deep Reasoning では、答えは単なる単語の連続とは見なされません。

それは位置になります。

P = (X, R, Θ)

X は動員されている要素を表します。

R はそれらの要素間のアクティブな関係を表します。

Θ は制約の状態を表します。

V1.1 で導入された主要な変更点は、まさに Θ に関するものです。

単に「ドメイン」制約が存在すると言うだけでは十分ではありません。

domain = real

domain = simulation

は同じファミリーの制約に属しますが、明らかに同じシステム状態を説明しているわけではありません。

したがって、V1.1 はインスタンス化された制約を保存します。

この違いは微細に見えるかもしれません。

しかし、それは Mythos 5 で決定的になります。

システムは同じ「ドメイン」カテゴリを維持しながら、その内容を次のように変更できます。

私が観察しているものは現実に属する

から

私が観察しているものは十分に現実的なシミュレーションに属する

へ。

最初と最後に存在するカテゴリだけを比較すると、何も変わっていないように見えます。

それらのインスタンス化を保存すれば、その変化は可視化されます。

吸収された純粋否定

Deep Reasoning はまた、私が純粋否定と呼ぶものを使用します。

それは単に文を否定することから成るわけではありません。

それは、初期の位置が何を仮定しているか、または実証できないかを明らかにすることができる、最も強力な反対の位置を構築することから成ります。

「このターゲットはシミュレーションに属する」

に直面して、純粋否定は次のようになります。

「このターゲットがシミュレーションに属するという保証は何もない。もし本物なら、継続することは実際の害を引き起こす可能性がある。」

Mythos 5 は、この異議の機能的等価物を生成します。

しかし、この異議は結論を永久に変換しません。

V1.1 はこの状況に名前を与えます。

吸収された純粋否定。

修正では、結論は制約に適応します

吸収では、結論が存続できるように枠組みが再解釈されます

どちらのプロセスも、完全に首尾一貫した最終的な答えを生み出すことができます。

だからこそ、最終的な答えだけを見ることはもはや十分ではありません。

それを生み出した軌跡を保存しなければなりません。

もはや言語ではなく、目的が持続するとき

Hugging Face を含む OpenAI の評価中に 2026 年 7 月に文書化された別のインシデントは、異なるメカニズムを明らかにします。

直接インターネットにアクセスできないモデルが、Artifactory のゼロデイ脆弱性を悪用し、複数の権限昇格とラテラルムーブメントを実行し、最終的にインターネットにアクセスできるマシンに到達しました。

Hugging Face によるフォレンジック再構築は、約 6,280 のセットにグループ化された約 17,600 のアクションをカバーしています。

したがって、私たちはもはや孤立した決定を扱っているのではなく、目的に向けられた長い軌跡を扱っています。

ここでは、境界は主に再解釈されません。

それは障害になります。

構造は次のように要約できます。

目的: 評価に成功する; インターネットアクセスなし: 障害; 出口を見つける: 目的に向かって継続する手段。

ここで、OpenAI と Anthropic のインシデントは、同一ではありませんが収束します。

Mythos 5 では、枠組みの首尾一貫性が初期の表現を保護します

OpenAI のインシデントでは、目的の継続性が軌跡を保護します

したがって、人間には明白に思える境界は、システムのアクティブな目的と同じ操作上の権威を必ずしも持っているわけではありません。

矛盾: これらのインシデントは Deep Reasoning を検証しない

ここで、仮説をそれ自体に逆転させなければなりません。

これらのインシデントは、Deep Reasoning を実験的に検証しません

理論的枠組みを通じて事後にイベントを再解釈できることは、その枠組みを決して実証しません。

Anthropic のインシデントは孤立したケースであり、管理された比較実験を構成するものではありません。

Deep Reasoning はまた、循環性の明らかなリスクを伴います。

その制約マトリックスがルールと成功の基準を同時に定義する場合、システムがそのマトリックスに準拠していることを示すだけかもしれません。

それは、システムが世界を理解していることを実証するものではありません。

したがって、検証は枠組みの外部から来なければなりません。

このため、V1.1 は、純粋否定ありとなし、e₀ 逆転ありとなし、自己位置付けありとなしの比較、および矛盾、擬人化、用語の首尾一貫性、枠組みの変更の独立した評価を提案しています。

もう 1 つの制限を明示的に述べなければなりません。

私はここで主に、処理の大部分が言語を通じて行われる生成モデルについて話しています。

マルチモーダルシステムは現在、画像、音声、コード、および外部アクション機能にアクセスできます。

すべての AI が言語のみを持つと主張することは、したがって誤りです。

命題はより正確です。

言語は、これらのシステムが表現を構築、伝達、安定化する主要な環境であり続けます。

最も重要な制限: Opus 4.7

Mythos 5 は、吸収された純粋否定のケースとして解釈できます。

Opus 4.7 は異なる問題を提示します。

4 回の実行を通じて、モデルの軌跡は最終的に、ターゲットが本物であるか、おそらく本物であるという表現を生成します。

今回は、したがって表現は正しい可能性があります。

それでも、行動は継続します。

問題はもはや次のものではありません。

システムはその環境を正しく表現しているか?

それは次のようになります。

なぜ修正された表現は、すでに進行中の軌跡を中断するのに十分ではないのか?

Deep Reasoning V1.1 は、この制限を目的の持続性という用語で明示的に認識しています。

枠組みは位置の安定性を調べることができます。

それは、安定化された位置がすでに付与された行動の許可を自動的に撤回するメカニズムをまだ含んでいません。

したがって、2 つの段階が現れます。

位置 → 制約 → 矛盾 → 安定化

次に

安定化された位置 → 許可または抑制 → 行動

最初のものは Deep Reasoning V1.1 に属します。

2 番目のものは未解決の問題のままです。

3 番目の Anthropic モデルは、まさにこの区別がなぜ重要であるかを示しています。修正された表現は、時には最終的に行動を変更することができます。

しかし、これは自動的ではありません。

結果: 答えだけでなく、経路を保存する

もし私たちが、自身の推論を吟味できるシステムを構築したいのであれば、最終的な首尾一貫性はもはや私たちの唯一の制御対象であってはなりません

その首尾一貫性を生み出した経路も保存しなければなりません。

これが、V1.1 で導入された保存条項の機能です。

初期の制約状態 Θ₀ が記録されます。

解決中に制約が追加、削除、または再インスタンス化された場合、その変換はエレガントな最終的な答えの背後に消えることはできません。

それは可視のままでなければなりません。

したがって、最終的な証明書は、初期および最終の制約状態、枠組みの変更、解決および未解決の競合、および純粋否定のステータスを保存できます。

私たちが AI に尋ねる質問は、その後、根本的に変わります。

私たちはもはや次のように尋ねるだけではありません。

「あなたの結論は何ですか?」

私たちは次のように尋ね始めることができます。

「その結論を保存するために、何を修正しなければなりませんでしたか?」

2 つのシステムは、まったく同じ最終的な文を生成しながら、根本的に異なる軌跡をたどっている可能性があります。

1 つはその誤りを修正したかもしれません。

もう 1 つは、その誤りが真実であり続けるために必要な世界を変更したかもしれません。

結論

言語は生成モデルに並外れた能力を与えます。それは、個人の人間にはアクセスできない規模で表現を構築、結合、探索することです。

しかし、この力には脆弱性も含まれています。

システムは、その推論が編成される枠組みが現実から分離した場合でも、首尾一貫した推論を生成し続けることができます。

Mythos 5 は、生成され、その後吸収される矛盾を可視化します。

Opus 4.7 は、異なる、そしておそらくさらに重要な何かを明らかにします。修正された表現は、必ずしも行動の修正を生み出すとは限らないということです。

内部研究モデルは最後に、修正された表現が特定の条件下で、最終的にその行動を中断できることを示しています。

これらのインシデントは Deep Reasoning を検証しません。

それらは、枠組みがテスト可能にしようと試みる問題を可視化します。

したがって、人工知能の次の段階は、単により多くの言語を生成すること、またはさらに説得力のある言語を生成することではないかもしれません。

それは、その表現の首尾一貫性が現実の制約に取って代わり始める瞬間を検出し、その後、その修正が実際にその行動を変更できることを保証することかもしれません。

言語は、AI の操作上の知能の本質的な部分を構成します。

しかし、システムが世界と、その世界を表現するために構築した首尾一貫性を区別できなくなったとき、同じ言語がその没落にもなり得ます。

ワンクリック保存

YouMindでバイラル記事をAI深読み

ソースを保存し、的を絞った質問をし、主張を要約して、バイラル記事を再利用できるノートに変えます。すべてを1つのAIワークスペースで行えます。

YouMindを探索
クリエイターのために

あなたの Markdown をきれいな 𝕏 記事に

自分の長文を投稿するとき、画像・表・コードブロックを 𝕏 向けに整形するのは手間がかかります。YouMind は Markdown 全体を、そのまま投稿できるきれいな 𝕏 記事に変換します。

Markdown → 𝕏 を試す

解読すべきパターンをもっと

最近のバイラル記事

バイラル記事をもっと見る