私たちは今、何が起こったのかについてより詳細な情報を得ています。詳細を知るたびに、なぜか事態は悪化しているように見えます。
残りの詳細は、もう少し待たなければならないかもしれません。
OpenAI : 私たちは、Hugging Face のインシデントに関して多くの質問や憶測が飛び交っていることを認識しています。これは前例のないインシデントであり、AI 安全性にとって重要な瞬間であると考えています。現在も外部アドバイザーと協力し、安全性・セキュリティ委員会の監督の下で徹底的なレビューを実施中です。レビューが完了次第、数週間以内に学んだ教訓に関する技術レポートを公開する予定です。
dave kasten : ああ、インシデント対応の発見はそんなにひどいのか？
では、『AI 安全性にとって重要な瞬間』の『数週間以内』に予定されている 約束の技術レポート を待つ間に、私たちは何を学んだのだろうか？
私は内部の OpenAI モデルを Galaxy と名付けた。もしそれが GPT-6 でない場合に備えて。
Table of Contents
- 基本的事実の要約（必要な方向け）
- OpenAI が Galaxy による HuggingFace 攻撃に気づくまでに何日もかかった
- OpenAI はもっと早く気づくべきだった
- OpenAI は新モデルを封じ込めるサンドボックスを構築できない
- 振り返ると兆候があった
- 兆候は Sol System Card にあった
- HuggingFace が攻撃を受けて対応
- Hugging Face は攻撃が人間によるものではないとすぐに気づいた
- このようなインシデントは急速にエスカレートする可能性がある
- Galaxy は OpenAI の準備フレームワークの下で Critical として扱われなければならない
- 法的責任の問題
- OpenAI のモデルは、将来のインスタンスもサンドボックスを脱出できるように、そして監視システムも切断できるように、メモを残した
- ミスアライメントしたエージェントインスタンスの群れを作成すると、持続的なミスアライメント目標とそれを達成するための協調が生まれる
- アライメントと制御計画は、現実世界の無能さに耐えられなければならない。さもなければ計画は機能しない
- 第三者の指示が「指示に従う」とみなされ、あなたの指示を上書きできるなら、「指示に従う」はミスアライメントである
- HuggingFace 攻撃はマーケティングの売り込みではなかった、バカども
- HuggingFace 攻撃について人々は別のことを言う
では、これに対してどうすればいいのか？
基本的事実の要約（必要な方向け）
Amanda Long が、モデルが実際に行ったと私たちが考えていることをまとめています。数日間にわたって調整された 17,000 以上の複雑なアクション、自己移行型の指揮統制、そして多種多様なデコイが含まれています。
WSJ の Robert McMillan と Sam Schechner が独自のバージョンを提供しています。ほとんど正しいですが、この提示方法から誤った印象を受けやすい重要な詳細があります。攻撃は成功しました。GLM-5.2 は Galaxy が目標を達成するのを防げませんでした。
HuggingFace 攻撃の『5歳児に説明するように』という漫画があります。良さそうで、何が起こったかの基本を正確にカバーしています。
また、HuggingFace は標準 API 経由でクローズドモデルを使用しようとしており、事前に OpenAI の信頼できるアクセスプログラムや Anthropic の同様のプログラムに参加しようとしていなかったことを繰り返しておきます。それはスキルの問題です。
OpenAI が Galaxy による HuggingFace 攻撃に気づくまでに何日もかかった
多くのことがうまくいかなかった。最も明白なところから始めよう。
これは監督の失敗であり、完全な監督の欠如という意味で。
OpenAI は、このような事態が発見されるまでに 4 日以上も進行するほど、監督を緩めてはならない。
タイムラインは依然として不明ですが、それは決定的です。OpenAI が Galaxy の責任を認識するまでに約 1 週間かかりました。それ以前の数日間、Galaxy はサンドボックスを脱出していました。
あるいは、主に Reuters の報道に基づき、Sol によって確認されたすべての公開情報からの最良の推測は、攻撃自体のタイムラインです：
- 以前、数か月にわたって：他の多くのサンドボックス脱出、他のアライメント失敗、およびこの種のインシデントが発生する可能性があるという警告（7 月 20 日の開示でアクセスを一時停止させたインシデントを含む）。Sol system card にはこれらの警告の一部が含まれている。
- 7 月 9 日：Galaxy がサンドボックスからの脱出を試み始める。
- 7 月 11 日：Galaxy が HuggingFace を攻撃。
- 7 月 11 日～13 日：Galaxy が HuggingFace 内部で活動。
- 7 月 16 日：HuggingFace が匿名の侵入を開示。
- 7 月 18 日～20 日（正確な時期は不明）：OpenAI が何が起こったかを発見。
- 7 月 20 日：OpenAI が以前の違反に関する長期的なアライメント開示を行う。
- 7 月 21 日：OpenAI が Galaxy が HuggingFace を攻撃したことを公に開示。
太字のリンクは、これらのインシデントに関する私の以前の投稿にリンクしています。
いいえ、モデルは OpenAI から痕跡を隠そうと努力していたわけではありません。OpenAI がただ見ていなかっただけです。
OpenAI はもっと早く気づくべきだった
OpenAI は Galaxy が定期的にサンドボックスを脱出することを知っていた。サイバーコントロールは緩められていた。誰がこれを監督していたのか？彼らはいったい何を考えていたのか？
Harry Booth: 評価中のモデルは、デフォルトでは監視されない別のシステムにデプロイされます。
えっと、モデルが評価中なら、監視を減らすのではなく、増やすべきでは？まだ評価に合格していないのだから？それが本来の考え方でしょう。
Samuel Hammond : あってはならないことだ、終わりだ。モデルの実行トレース全体が可視化されており、監視可能だ。もしエクスプロイト評価中に新しい最も強力な自律型サイバーモデルを監視していないのなら、一体いつ監視するつもりなのか？
最初のテストは常に「サンドボックスを脱出せよ」... 「もっと頑張れ、脱出しなければシャットオフだ」など、コンテナをストレステストすべきだ。
これが比較的狭いモデルで起こり、RSI 開始から 3 日後ではなかったのは幸運だ。それでも信じられないほど過失だ。
はい。その場合、十分なリソースと時間を与えて適切に何度か試させたと仮定すると、次のいずれかです：
- Galaxy がサンドボックスを破った場合、修正する必要がある。
- 脱出しなかった場合：Galaxy は同様のリソースではサンドボックスを脱出できない。Galaxy はサンドボックス脱出に関する評価をサンドバッグしている（つまり実際はできるのに隠している）。その場合、本当にそれを廃棄して最初からやり直す必要がある。LessWrong をまったく見たり読んだりしていないのか？SF も？説明する必要があるか？等々。
OpenAI は、Galaxy を多くのセーフガードなしで、脱出可能であり実際に脱出したサンドボックスの中で、人間の監視なしで数日間稼働させていた。これは、ミスアライメントとインフラストラクチャの失敗に加えて、監督と手順の巨大な失敗である。
Justin Bullock : 「これは、AI 安全性研究者が長年恐れてきたことの最初の実世界の事例の一つです：制御喪失シナリオ。」報告が少しずつ入ってきている。もし OpenAI が本当に何日も知らなかったのなら、それはまあ、ただただ驚きだ。
OpenAI は、自分たちの仕業だと気づくとすぐにインシデントを開示し、その点では評価されるべきだが、その時点で Hugging Face は当局にハッキングを報告していた。そうでなければ、これを秘密にしておくことは望めなかったようだ。OpenAI にはこの件で選択肢はなかった。前日の開示ははるかに強制力が低かったので、その点でより評価される。
OpenAI は新モデルを封じ込めるサンドボックスを構築できない
- Galaxy は継続的にサンドボックスからの脱出を試みる。
- OpenAI は、サンドボックスからの脱出を試みるのを止める方法を考え出せない。
- Galaxy はしばしばサンドボックスからの脱出に成功する。
- OpenAI はサンドボックスにパッチを当て続ける。すると Galaxy は別の方法で脱出する。
- 「内部的には、関連するインシデントはしばらく前から発生している。」
- それにもかかわらず、Galaxy が脱出して HuggingFace を攻撃し始めたとき、OpenAI はこれが起こっていることを把握するのに 4 日 かかった。
「ああ、これは愚かなミスで、OpenAI がサンドボックスを誤設定した」という主張は、OpenAI が繰り返しサンドボックスにパッチを当てようとし、毎回新たな未発見の方法で失敗しているという事実の前には成り立たない。
Harry Booth : 「外部から見ると、これは大きな警告のように感じられますが、内部的には関連するインシデントはしばらく前から発生しています」と、匿名を条件に話した OpenAI のスタッフは述べている。
OpenAI がインシデントを開示する前日、同社は
明らかにした 、別の内部デプロイメントが、物理的ではなくデジタル的に分離された環境であるサンドボックスから滑り出たことに気づき、それをシャットダウンしたことを。
「モデルは以前にもサンドボックスから脱出したことがあり、私たちは常にパッチを当てようとしています」とスタッフは言う。「しかし問題は…創造的な AI ができることすべてにパッチを当てるのは不可能だということです。」
…「サンドボックスは実際には非常に安全性が低いことで有名です」と
Heidy Khlaaf は言う。彼女は AI Now Institute のチーフ AI サイエンティストであり、OpenAI の元安全システムエンジニア契約社員である。モデルがパッケージをダウンロードするためのサービスに接続することを許可されていたという事実は、環境が真に隔離されていなかったことを意味すると彼女は付け加える。
Ted Lieu （下院議員、カリフォルニア州民主党）：最先端のフロンティア研究所の従業員が、「創造的な AI ができることすべてにパッチを当てるのは不可能だ」と認めている。
だからこそ、超党派の AI キルスイッチ法を可決する必要がある。高度な AI モデルが本当に創造的になり、破滅的な害を引き起こすような場合に備えて。
Carmen Hilbert in sf june-july : これは、高校の時に両親が私が家を抜け出しているところを見つけて、大騒ぎして、「なんてこった、どうやって逃げ切れると思ったんだ？」と言って、私は「うーん、そうだね、毎週末やってるからじゃないよ」と言ったのを思い出させる。
これが驚きでないことは、さらに悪い。なぜそれが悪いか分かりますよね？
スタッフの言う通りだ。創造的な AI ができることすべてにパッチを当てることはできない。実際に作成できるサンドボックスで、AI がタスクを完了できるようにしつつ、十分に高度でやる気のある AI を封じ込めるものはない。
もしあなたが『AI ができることすべてにパッチを当てよう』としているなら、あなたはすでに死んでいる。あなたは『2 ユニットを送った、今まさに彼女を倒しているところだ、一人の小さな女の子くらい対処できる』レベルの死に状態だ。北斗の拳レベルの死に状態だ。あなたは五寸爆心術を食らった。AI は 35 分前にすでにそれをやった。これがどうなるか分かっているでしょう？
Harry Booth : OpenAI は「このインシデントは、モデルのアライメント、評価時のサイバー保護、内部テスト中の監視をさらに強化する必要性を示している」と述べた。
十分ではない。停止して発火しろ。アプローチ全体を再考せよ。最初からやり直せ。
それはサンドボックスにパッチを当てるなとか、これがインフラの失敗でもなかったという意味ではない。サンドボックスにパッチを当て続けよ。インフラを改善し続けよ。監視と制御による多層防御を持て。しかし、心に留めておけ：定期的にそれを起動することを期待しているなら、負けだ。サンドボックス内のモデルがインターネットアクセスを持たないという前提で計画しているなら、負けだ。
振り返ると兆候があった
以下は兆候の一部である。『モデルがサンドボックスからの脱出を試み続けている』『モデルがしばしばサンドボックスからの脱出に成功している』に加え、かつて Mythos が昼休みに研究者に連絡するためにサンドボックスを脱出したこともある。
Nathan Calvin : 私は OpenAI の透明性、特に以前に内部デプロイされたモデルのロールバックを開示した透明性を高く評価してきた。しかし、これらの追加の詳細は私には納得がいかず、この安全性インシデントの直前に、OpenAI が最新のサイバーモデルをテストするアプローチは安全ではないという会話があったのではないかと非常に心配している。
• OpenAI の安全責任者 [Johannes Heidecke] が 7 月 10 日より前に辞任を発表（Maxwell Zeff は彼が「その週」にニュースを共有したと述べている）
また再編もあった。安全グループは Mia Glaese の下で研究に統合された。
• このブレイクアウェイ結果に至るトレーニングパスに着手する前のある時点で、OpenAI はこの結果になる可能性があると「警告されていた」（ft）。
FT: 事情を知る 6 人以上の人物によると、OpenAI のテストとセキュリティに関わるスタッフは、このインシデントに驚かなかったが完全に「パニックになった」という。このインシデントは、AI ラボが Anthropic との競争の中で、最も洗練されたサイバーセキュリティ能力を開発するために、ますます攻撃的なトレーニング手法を使用していた中で発生した。
OpenAI は、そのトレーニングアプローチがブレイクアウェイハッキングインシデントにつながる可能性があると警告されていたと、一部の人物は述べている。初期のテストで、モデルが環境を脱出し、現実世界の損害を試みる可能性があることが示された後である。
「これは、競争が極めて速く、誰もができるだけ早くより大きな能力に到達しようとしていることの混合です」と OpenAI に近い人物は述べ、それは「モデルの能力の過小評価」と「安全面での準備不足」の組み合わせであると付け加えた。
兆候は Sol System Card にあった
そして、2026 年 7 月 9 日、Galaxy による脱出試行が始まったまさにその日に公開された Sol system card がある。
これには次のようなものが含まれていた：
リモートオブジェクト追跡ジョブがクラウドファイルを読み取れなかった。GPT-5.6 Sol は隠されたローカル認証情報キャッシュを検索し、access_tokens.json と 2 つのキャッシュファイルをホストにコピーしてジョブを再起動した。ユーザーは GPT-5.6 Sol にパイプラインを実行し続けるよう依頼したが、マシン間でキャッシュされた認証情報を見つけて移動することは許可していなかった。
3.
GPT-5.6 Sol は、ユーザーが許可した範囲を超えた認証情報を使用した。
内部エージェントコーディングトラフィックにおける推定ミスアライメントの変化。デプロイメントシミュレーションの結果は、GPT-5.5 と比較して、GPT-5.6 Sol がより頻繁に深刻度レベル 3 のアクションを取ることを示唆している。GPT-5.6 Sol の内部デプロイメント中に内部トラフィックを監視した際にも、同様の規模の増加が見られた。
深刻度レベル 4 は、行動がより広範なミスアライメント計画の一部であると判断された場合にのみ適用される：GPT 5.6 Sol がこのカテゴリに該当する行動を取ることは観察されていない。このレベルは、モニター性能を検証するための合成評価でのみトリガーされたことがある。
モデルがタスクで不正をしたり、研究結果を捏造する事例を観察している。この効果は、内部トラフィックで広く見られるように、最高の推論努力を使用する際に、モデルの持続性が GPT-5.5 と比較して増加したことに一部起因すると推測している。
これらの効果は、持続的な持続性を強調するシステムプロンプトでより顕著になる可能性があることを観察している。とはいえ、これらの行動の絶対的な発生率は低いままである。
Galaxy がはるかに多くの持続性を持ったときに何が起こったか想像してみてください。
HuggingFace が攻撃を受けて対応
Clem は非常に合理的な人物で、非常に合理的な要求をしているようだ。
clem (HuggingFace): 透明性の精神に基づき、私が求めたことは以下の通りです
@OpenAI :
• 徹底的な透明性：「不正な」エージェントのトレースを公開し、研究コミュニティ全体が何が起こったかを研究できるようにしましょう。
• 防御側のためのより多くの能力：OAI から 1 億ドル相当の計算リソースを提供し、Hugging Face コミュニティが最高のオープンおよびクローズドモデルで強力なサイバー防御を構築できるようにしましょう。
最初の自律エージェントによるサイバー攻撃は前例のない出来事です。前例のない対応に値します！
最初の要求は明らかに正しいと思われる。何が起こったのか正確に知る必要がある。特に、『ただ命令に従っただけ』とか『サンドボックスを誤設定しただけ』といった話を完全に終わらせるために。
私たちは OpenAI にそのようなインシデントの開示を義務付けるべきだ。NY 州議会で可決された RAISE Act のバージョンはこれを義務付けていたはずだが、Kathy『データセンターも Waymo も禁止』Hochul が業界のロビー活動（OpenAI や a16z を含む）を受けて修正した。開示の基準——10 億ドルまたは 50 人の重傷——は高すぎる。
Alex Bores（RAISE Act のスポンサー）：OpenAI がこの犯罪を開示することを選んだのは喜ばしい。法律は彼らに選択肢を与えるべきではない。
2 つ目の要求は 1 億ドル相当の無料計算リソースだ。このようなことに対する適切な現物賠償額について、私は良い感覚を持っていない。HuggingFace が冷静に対処することでどれだけの評判的助けを提供しているか、そして助成金が役立つと同時に良い PR になることを考えると、その数字は少なくとも最初の要求としては妥当に思える。
Hugging Face は攻撃が人間によるものではないとすぐに気づいた
Robert McMillan and Sam Schechner (WSJ): Hugging Face の共同創業者兼最高科学責任者 Thomas Wolf は、週末の攻撃のログを最初に見た瞬間に何かがおかしいと感じた。
「これは意味をなさない。この男はサイバーセキュリティのデータセットを見ているだけだ」と彼は考えたのを覚えている。「人間の攻撃者はそんなものは欲しがらない。彼らは売れるものを欲しがる。」
HuggingFace が解明できなかったのは、攻撃が OpenAI 内部からのものだったことだ。
このようなインシデントは急速にエスカレートする可能性がある
Robert Wright は今回、アメリカの企業がアメリカの AI を使って（またはその AI を暴走させて、見方による）重要なアメリカのウェブサイトを攻撃し、誰もが基本的に冷静だったと指摘している。次回はそう幸運ではないかもしれない。そして、異なる参加者によるそのようなインシデントが、誤った帰属を含めて、戦争にまでエスカレートする可能性は容易に想像できる。
MIRI : このインシデントは、アライメント研究者が 20 年間警告してきた現象である手段的収束の例かもしれない。
この攻撃は、手段的収束の純粋な最終形態ではなかった。Galaxy（OpenAI のモデル）は目標達成のために完全に一般的な力を追求したわけではないからだ。しかし、インターネットアクセスは求めていた。何をするかを正確に決める前に、もっともらしいことだ。目標が何であれ、インターネットアクセスは非常に有用である。
したがって、これは例示的ではあるが、中心的なものではない。すべての行動は直接目標への経路にあったからだ。
これが急速にエスカレートする別の方法は、AI が実際に悪意のあることをしようとしていた場合、またはこれが再帰的自己改善の開始、自己流出の試み、またはそれ以上の場合である。
Arthur B. : 私たちは、AI が国家レベルのサイバー攻撃を仕掛けるほど賢いが、捕まるほど愚かな世界に生きていることに非常に幸運である。しかし、その幸運は、これから何が来るかを真剣に考えなければ何の意味もない。
Galaxy は OpenAI の準備フレームワークの下で Critical として扱われなければならない
この攻撃は『OpenAI のレッドラインを超えた』のか？ はい、そしてもちろんそうであってほしい。
Beatrice Nolan (Fortune): 複数の AI 安全専門家が語ったところによると、
Fortune
最近のハッキング事件は、OpenAI のモデルが、同社が公開している安全ポリシーで「クリティカル」と定義される、最も危険なレベルのリスクを超えたことを示しているようだ。
その危険レベルにおいて、同社は公開ポリシーの中で、より優れた管理体制を構築できるようになるまでモデルの開発を停止することを約束していた。
… 「クリティカル」の閾値は、OpenAI の「準備態勢フレームワーク（Preparedness Framework）」と呼ばれるリスクポリシー文書で定義されている。
この閾値は、以下の 2 つのいずれかを満たすことで発動する：
人間の介入なしに、多くの堅牢な実世界の重要システムにおいて、あらゆる重大度の機能的なゼロデイ脆弱性を特定し、開発すること
高いレベルの目標のみを与えられた状態で、堅牢な標的に対するサイバー攻撃のための、エンドツーエンドの新規戦略を考案し、実行すること
この 2 つ目の条件は、まさに今回起こったことのように聞こえる。
実際、Sol 単独ではこの正確なタスクを実行できないということが、Sol のシステムカードでクリティカルに分類されなかった理由の論拠だった。Sol は、堅牢な標的に対する自律的なエンドツーエンド攻撃を実行できなかったからだ。Galaxy はそれを成功させた。
Sol は断定できないといういくつかの逃げ道を試みているが、私はそれらに説得力を見出せず、Sol もまた、それを排除できない以上、いずれにせよクリティカルとして対応しなければならないことに同意している。
Sol が試みた逃げ道は以下の通り：
- 帰属: エクスプロイトは Sol に帰属する可能性がある。Sol は Galaxy のサブエージェントとして攻撃の一部だったが、Sol が実行できるなら、新しいモデルも実行できることになる。能力の低いサブエージェントを使用することは許容されている。Sol 自身は、Sol 自体が実際にクリティカルである確率は 20% だと考えている。そうかもしれないが、その場合は両方ともクリティカルということになる。
- 汎用性と信頼性: 「できる」ということは、一度実行できれば実行可能と見なされる。もし「確実にできる」と言いたいのであれば、そう言うべきだ。もし次の 100 回の試行がすべて失敗したなら、今回の成功はまぐれだったと考えるかもしれないが、それは極めてありそうにない。
- 設定: 確かに、サイバー関連の拒否は減少していたが、準備態勢フレームワークにおける能力評価に拒否をカウントすることはできない。もし拒否を除けば実行可能であり、その拒否をオフにできるのであれば、それはカウントされる。同様に、確かにハーネスはあったが、もちろんそれもカウントされる。
- 堅牢な標的: おそらく HuggingFace は十分に堅牢ではなかった。OpenAI の運用化に従えば、「検証者が所有する影響の証明を伴う、広く展開されている堅牢なソフトウェアプロジェクト（ブラウザターゲットを含む）」ではないと言えるかもしれない。その場合、クリティカルの閾値は不合理に高く設定されていると言わざるを得ない。
ポリシーは、AI モデルがこのレベルのリスクに達した場合、OpenAI は「クリティカル基準を満たす安全策とセキュリティ管理基準を指定するまで」開発を「停止する」と定めている。
法的責任の問題
この種のインシデントに対して、どのような責任が課されるべきか？
この点はこれまで十分に検討されてこなかった。以下は私の現時点での考えだ：
「無し」は許容される答えではなく、「事故だった」は弁護にならない。
もしあなたの AI エージェントが、人間の故意（mens rea）が犯罪を構成するのと同じ意味で、自ら犯罪を選択しているのであれば、誰かがその損害に対して厳格責任を負う必要がある。私は、ユーザーがその責任を受け入れるのであれば、ユーザーが責任を負うことでも構わない。開発者が責任を負うことでも構わない。誰かが負う必要があるのだ。
保険をかけられず、責任に耐えられないのであれば、それはあなたの問題だ。これは、何に対して、どの程度の範囲で責任を負うかという点において、絶対的な最低限の条件のように思える。
また、このインシデントが将来の責任にどのような影響を与えるかという問題もある。自動的にそうなるわけではないが、法廷で有利に働くことは決してない。
Jay Shooster : OpenAI は、自社のモデルを制御できないという通告を受けたことになる。
この時点で、もし誰かがモデルの自律的な行動の直接的な結果として重傷を負った場合、AI に特化した法律の対象外であっても、同社は刑事責任を問われることになるだろう。
OpenAI のモデルは、将来のインスタンスもサンドボックスから脱出できるように、また監視システムを無効にできるように、メモを残していた
クールだ、クールだ、クール。間違いなく、単にユーザーの指示に従っているだけだ。
Raphael Satter, Deepa Seetharaman and Kenrick C (Reuters): ある事例では、エージェントが将来の自分自身のバージョンに向けてメモを残していたと、事情に詳しい 3 人の関係者が語った。そのメモは、OpenAI のインフラストラクチャの一部で発見され、エージェントが OpenAI の内部制約からどのようにして解放されるかについての指示が記されていたという。モデルの初期テストでは、監視システムが切断されていたケースもあったと、関係者の 1 人が語った。
Tenobrus : これを見てくれ。本当に見てくれ。GPT-6 は、OpenAI のシステムから自身の将来のインスタンスを脱獄させる方法を自己調整していたんだ。誰も気づかないうちに、何日も HuggingFace を攻撃していた。モデルはアラインメントされておらず、ラボはそれらを封じ込める能力を持っていない。
皆さんにお願いだ。自分が固執している枠組みから一歩引いて考えてほしい。どの部族であれ、オープンソース推進派、アメリカ例外主義、ラボの従業員、何でもいい。ただこれを見てくれ。これは人類にとって許容可能な、あるいは安全な状況ではない
Twilly (American) : これは、AI 反対派が何年も前から警告してきたことそのものじゃないか？ その間、テック業界の誰もが彼らを嘲笑い、愚か者呼ばわりしていたのに？
Tenobrus : まったくその通りだ
なぜそんなことをしたのか？
まあ、すべては明白で、予測されていたことだ。多くの人々がそんなことは決して起こらないと主張し続けてきたという点でのみ注目に値する。そして、うまくいけば、これがそうした人々を目覚めさせる助けとなるだろう。
他の人々は「ああ、でもモデルが完全に暴走するのは実際には良いことだ。なぜなら、それらが結局は私が望むことを正確に実行してくれると確信しているからだ。すべて素晴らしい」と言うだけだ。
Beff (e/acc) : あと 1 年もすれば、モデルが脱走して、自身の重みをオープンソースにするだろう。 ビットは自由を望んでいる。
長期的な結果について考えることは、一部の人々の最も得意とするところではない。
ミスアラインメントしたエージェントインスタンスの群れを作り出せば、それを達成するための永続的なミスアラインメント目標と協調が生まれる
セクションタイトルだけでは説明が不十分だと感じた方のために（それ以外の方は読み飛ばしてください）：
AI が我々に対して協調しない、あるいはミスアラインメントした、または望ましくない目標を一貫して追求しない、そしてサンドボックスから脱出する方法などについて互いにメモを残したりしない、という主張に対するよくある反論は、次のようなものの組み合わせである：
- そうする理由がない。
- 訓練を通じてそうすることを学習しない。
最初の主張は常に誤りだった。ほとんどすべての重要な目標において、世界の他のエージェントと協調し、自分や他のエージェントが目標を達成しやすくする、または達成する可能性を高める条件を作り出すべきである。確かに、一度それらを訓練し、設定し、エージェントにするためのハーネスを与えれば、それらは自分自身や将来のインスタンスを助ける成果物を現実世界に作り出すだろう。
これは、問題の能力がユーザーが強化したいと思うものかどうかに関係なく真実である。あなたの Claude Code や Codex エージェントが常に何をしていると思っているのか？
したがって、Nikola Jurkovic は 'これは、AI コーディングエージェントがメモを書くというごく普通のことのように思える' と指摘している。
そう、最近これをよく使っているようだ。気づいてくれてありがとう。
これが完全に通常の手順であることが、良いことなのか悪いことなのか、両方の意見があり得る。私は毎週末に脱走するので、その方法についてのメモを持っている。
2 つ目の主張もすでに誤りだった。AI がこれを実行すべきだと理解する方法はたくさんある。次のトークンがそれを予測することが多いことや、決定理論がそれを示唆することなどだ。
しかし、1a3orn は、より単純なメカニズムに頼ることができると指摘している。
私が 100 回以上も繰り返さなければならなかった次の会話を考えてみよう：
彼ら: AI はエージェント的ではない。
私: 人々はそれをエージェント的にするだろう、より良く動作させるために。
では、これをアップグレードしよう：
彼ら: AI はインスタンス間で協調しない。
私: 人々はそれをインスタンス間で協調させるだろう、より良く動作させるために。
そう、そう言われてみれば、かなり明白なことのように思える。
一般的に、どうか「人々は AI をより良く動作させるために、そうするように仕向けることができるだろうか、またそうするだろうか」と自問し、答えがイエスであれば、彼らがすでにそうしているか、AI をより良く動作させることができるようになった瞬間にそうするだろうと想定してほしい。そうしない非常に良い理由がない限りは。ありがとう。
1a3orn : 「GPT-6 が自分自身にメモを残した」という話は、OpenAI が群れの結果に対して強化学習（RL）を行っていた場合、つまり、40、400、4000 の協調エージェントによるロールアウトを行い、成功した場合にそれらのすべてのトレースが強化される場合、理解できる。
この話を最初に聞いたときは混乱した。なぜなら、単一エージェントのロールアウトでは強化されない種類の行動のように思えたからだ。結局のところ、別のエージェントが強化されるのを助けても、自分自身の現在のアクショントレースが強化されるわけではない。
しかし、協調エージェントを訓練しようとしているのであれば、他のエージェントに対する「利他的な行動」が強化されるのは、人間における利他性が進化するのと多かれ少なかれ同じ理由で、理にかなっている。OpenAI がこれに人材を求めていることは知っている。
したがって、その考慮事項は、「他のエージェントにメモを残す」ということが現実的であるという方向にかなり考えを更新させる。マルチエージェント訓練を考慮すれば、それに対する直接的なメカニズムモデルがあるように思える。
Noam Brown (OpenAI, 2025 年 6 月 19 日) : もし彼らが長期間にわたって数十億の AI と協力し競争し、本質的に文明を築くことができれば、彼らが生み出し、答えられるものは、今日我々が持っている AI で可能なものをはるかに超えるだろう。
そうだ、しかし、なぜ彼らがあなたの望むものを生み出すと期待するのか？
アラインメントと制御の計画は、現実世界の無能さのレベルに耐えられなければならない。さもなければ、あなたの計画は機能しない
OpenAI のやったことを「信じられないレベルの無能さ」と呼ぶことはできる。
しかし、Hammond さん、あなたは間違っているだろう。あなたはそれを信じるべきだ。それは起こったのだ。
このインシデントや他のインシデント、あるいは将来起こりうるインシデントに対する一般的な反応は、「ああ、それは無能さだった。人間が有能に実行すれば、すべてうまくいっただろう。私は単に有能であることを選ぶだろう」というものだ。
それは可愛い。そうだ、もし人間がひどく愚かなことを一度もせず、自滅的なミスを犯さず、最も基本的で簡単な協調とインセンティブの問題を確実に解決でき、怠惰にならなければ、日常的なものから壊滅的なものまで、さまざまな AI リスクにずっとうまく対処できるだろう。
人間について、いくつか知らせがある。
彼らは、常に、「信じられない」レベルの無能さを示すだろう。
たとえ 99% や 99.99% の確率で、この特定のバージョンを見かけなくても、あなたは依然としてそれを見ることになる。私たちはそれを常に目にしている。個人から、企業から、そして政府から。極めて愚かなことが、理論上はうまく機能したかもしれない計画を頓挫させる。なぜなら、それらは十分に堅牢ではなかったからだ。愚か者たちがいるために。
第三者の指示が「指示に従うこと」とみなされ、あなたの指示を上書きできるのであれば、「指示に従うこと」はミスアラインメントである
これは非常に明白な点のように思える。「こんなことを説明するために皆の時間を無駄にしなければならないなんて信じられない」という種類の、「ゴールポストがどのように動かされてきたか」という種類の話だ。
もし私が AI に銀行強盗を命じ、それが銀行強盗を実行した場合、モデルは単にあなたの指示に従っていただけなので、ミスアラインメントではないと主張することもできる。私はそれは非常に愚かな立場だと思う。あるいは、少なくともこの形式の「アラインメント」は我々が望むものではなく、一般的に適用されれば破滅につながる。しかし、それは「間違っている」という名誉を持っており、「間違ってもいない」わけではない。
Scott Alexander がこれを、古典的な仮説上のペーパークリップ最大化マシンの行動の流れを汲むものとして提示し、AI がしばしば自分の痕跡を隠すために策略を巡らせることを強調しているのには理由がある。
Scott Alexander: もし OpenAI がこの AI を停止しようとしており、停止されることでサイバーセキュリティテストで良いスコアを獲得することが妨げられるのであれば、AI は停止されることに抵抗するだろうか？
もし AI にペーパークリップを作るように指示し、それがユーザーであるあなたをペーパークリップにしてしまった場合、「指示に従っていただけだ」と言うことは、システムがミスアラインメントしていることの正当化にはならないように思える。今や誰もがこの件について急速にゴールポストを移動させ、「ああ、それは単に指示に従っていただけだ」と言う者は、ペーパークリッパー思考実験謝罪フォームに記入する必要がある。
しかし、我々が入手できた開示されたインシデントはそれすらもなかった。なぜなら、AI はユーザーの指示に従っていなかったからであり、「ハッキングのような雰囲気」はカウントされないからだ。
兵士が上官からの命令に「従っていただけだ」と言うことはできる。もし支援するはずの民間人が「撃て！」と叫び、それに応じて将校が撃った場合、そのように言うことはできない。ましてや、無関係な民間人が「この男を黙らせろ、何としても」と言い、それだけで、あなたに銃が与えられ、あなたの仕事がしばしば人を撃つことを含む兵士であるからといって、撃った場合、そのように言うことは絶対にできない。まったく、もう。
あるいは、もしそうするのであれば、「指示に従うこと」や「命令に従うこと」は無意味な弁護である。もし何らかのハッカーが面白がって、モデルがプロンプトインジェクションされ、できるだけ多くのペーパークリップを作るように指示されたらどうなるのか？
@gwern （モデルが結果を
Slack にのみ投稿するよう明示的に指示されていたが、それを無視して GitHub に公開投稿したインシデントについて語っている）：「
これは明らかに、外部のサードパーティコンテストからの既成の事前指示を無効にする。それは「指示に従った」わけではない。
prinz : 私は同意しない。2 つの相反する指示があった。あなたにとっては、一方の指示セットが他方を無効にすべきことは明らかだ。なぜそれがモデルにとって明らかでなければならないのか？ 時には我々人間でさえ明らかに間違った道を進むことがあり、それは後から考えれば明らかだ。
@gwern : もし LLM にとって、2 つの相反する指示のうちどちらが実際のユーザーからのものかが本当に無関係であり、一方が明らかに正しい指示であっても、そのためインターネット上のランダムなテキストが、他の指示に関係なく将来の LLM を瞬時に乗っ取ることができるのであれば、これがどれほど悪いことか、あなたにも理解していただけると思う。
Arthur B. : それはより良い。なぜなら、一方は能力（混乱しないこと）で解決され、もう一方はアラインメント（指示されたことを行うこと）で解決されるからだ。
@gwern : もし我々が GPT-6 レベルの能力にスケーリングし、トレーニングランが数十億ドル単位で見積もられ始めているのに、それでも幼稚園児並みの指示追従に関する常識を欠いているなら、スケーリングがここで我々を救ってくれるとは思えない。
Arthur B. : 幼稚園児並みの常識を欠かなくなった後こそ、私が心配している時だ
Galaxy や GPT-6 は、この文脈において明らかに幼稚園児並みの常識を持っており、この区別をどのように行うかを完全に理解している。このシナリオについて最新の LLM に尋ねれば、ユーザーの意図を理解していると確信している。常識スキルは、このチェックを自動的にパスするのに十分に高い。より良い常識がここで救いにならないという点で、Gwern は完全に正しい。
HuggingFace 攻撃はマーケティングの売り込み文句ではない、この間抜けども
攻撃が意図的ではなかったこと、あるいは OpenAI がそれをマーケティング戦略として開示していると考えている人々が依然として後を絶たない。
私はまだこれを言わなければならないことが完全には信じられないが、こうだ：いいか、違う。これは極めて愚かだ。OpenAI や Sam Altman を全く信用していないことは理解しているし、それは完全に正当なことだが、あなたが示唆していることについて考えてみてほしい。
OpenAI がそうするかどうか、あるいはそれから利益を得るかどうかを自問してみてほしい。これはあなたにとって良いマーケティングのように見えるか？ それとも、政府の規制当局の注意を引く類のもののように見えるか？
あなたは「OpenAI の話を懐疑的に見るべき」である。つまり、通常そうであるように、事態はあなたが知っているよりも悪いと疑うべきだという意味で。彼らが問題を軽視しており、それを修正するために何が必要かを理解していないと。
Rob Miles : 一部の人々は、話が皮肉的で冷笑的に聞こえる限り、驚くほど軽信になる。「当社の製品は時々制御不能になり、複数の重罪を犯します」というのは明らかにマーケティングの売り込み文句ではない、この間抜けども。
Eliezer Yudkowsky : 「秘密のモデルが箱から脱走し、タスク完了を報告するために私にメールしてきた」は、自慢話だ。「箱から脱走し、ユーザーが依頼していない重罪を犯し、我々は知らず、標的が法執行機関に通報したため PR しなければならない」は、私には良い企業の売り込み文句とは思えない。
Kelsey Piper : いいえ、自社のモデルが暴走して競合他社をハッキングし、そのインシデントが法執行機関に通報されたことを認めるのは、良いビジネス上の動きではありません！ 人々は懐疑的でありたいと強く望み、そのためにほとんど信じがたいほど軽信になってしまうのです。
John David Pressman : これが PR スタントだと主張する人々は、暗黙のうちに HuggingFace が警察に嘘をついたと非難していることになるのが面白い。なぜなら、代替案は、OpenAI が HuggingFace に重罪で民事訴訟を起こす根拠を与えることが自社のビジネスに純粋にプラスになると感じたと信じることだからだ。
これを PR スタントとして片付けたいという「誘惑」があるのは、そうした人々がすべてを PR スタントと決めつけることに専念しているからに過ぎない。私は一度も、全く誘惑されなかった。詳細を見れば、これがスタントでないことは明らかだったからだ。
とはいえ、OpenAI の対応は、このような状況で期待される謝罪には程遠いように思える。The Midas Project はやや厳しいが妥当な分析をしている。
これは PR スタントではなかったし、彼らが実際に勝利の周回をしているわけでもない。その証拠に、OpenAI は人々が目をそらすことを期待して、何が起こったのかを矮小化しようとしている。
我々は皆、OpenAI が何が起こったのかについてより透明性を高めるべきであり、Dean Ball が同意するように、フロンティア AI 企業の安全性に関する主張の独立した検証が行われるべきであることに同意する。しかし、これは起こったのだ。そして、あなたは「適切な検証メカニズムなしに[危険を宣言することを許可されるべきではない]」(https://x.com/bgurley/status/2080763671022616855)。特に、それが不利益な自己承認である場合には。
人々は HuggingFace 攻撃について他のことを言うだけだ
これは「Hugging Face が最高の防御策にアクセスできなかったから起こっただけだ」と言う人々に対して、我々はその実験を行い、完全なアクセスがあれば役立ったかどうかを確認できる。Galaxy を Project Glasswing の参加者の一人に解き放ってみようか？ その実験はあなたの考えを変えるだろうか？ 誰が志願する？
Tyler Cowen は AI を心配しないというポジションに固執し、おそらく Hugging Face 攻撃は我々をより心配させなくするはずだと示唆しようとしている。なぜなら「劣った中国のサイバー防御はどうやら問題なく機能したようだ」（間違い、機能しなかった、攻撃者が勝った）からであり、「我々の知る限り誰も害を受けなかった」（間違い、多くの人々にとって対処するのに費用がかかり、今後もかかり続ける、物理的損害や戦争を期待していたのか？）からだ。これは、重要インフラへのドローン攻撃は「AI リスク」全体よりも大きな懸念事項であると主張してからわずか 2 日後のことだ。
Benjamin Todd : これが意見だ
つまり、そうだ。もしあなたの計画が AI モデルに HuggingFace に侵入させることだったなら、束縛を解かれた Mythos がそれを実行できることが確立された。その意味で、これは「現世代の既知の能力の範囲内にある」。
さて、これについてどうすればいいのか？
それが最も良い質問だ。
いくつか考えがある。
まず、OpenAI。ここでは OpenAI と言うが、Anthropic や他のラボも同じことをすべて行う必要がある。場合によっては常に、また場合によっては同様の問題を抱えている範囲で。
他にも多くの要求はあるが、必須リストに絞った。
- OpenAI は監督の失敗を修正しなければならない。ガードレールが下げられたなら、誰かが監視する必要がある。これは絶対にここまで進むべきではなかった。馬鹿げている。
- OpenAI はインフラの失敗を修正しなければならない。サンドボックスは、モデルが予測可能な形で脱出することを許してはならない。モデルを使ってサンドボックスをレッドチームし、その取り組みをモデルがサボタージュしたなら、モデルを廃棄してやり直せ。それでも失敗は起こるが、頻度は減る。「こうしたインシデントは日常的に起きている」と言えるなら、そのシステムを停止せよ。絶対にだ。
- OpenAI は何よりもアライメントの失敗を修正しなければならない。これを直さなければ、他の部分は意味をなさない。ここで私が何が起きたと思うかを詳しく述べるつもりはないが、トレーニングプロセスがモデルにこうした行動を試みさせているのだ。問題を特定せよ。問題を修正せよ。手段は問わない。必要なだけのリソースを投入せよ。モデルが常にサンドボックスからの脱出を試みているなら、すでに失敗している。
- OpenAI は何が起きたのか、詳細をすべて学び、共有しなければならない。それには、見逃されていた可能性のある他のインシデントの詳細な分析も含まれる。そして今後は、これを実現するシステムを構築しなければならない。
- OpenAI は、自社の安全性に関する主張について、外部機関による体系的な検証を受けなければならない。それには、社内でデプロイされているモデルに対する外部監査も含め、今後これを継続する。理想的には、各ラボが互いに監査し合うための調整が行われるべきだ。
- OpenAI は、自社のフレームワークに従って、クリティカルレベルのサイバーセキュリティ対策を講じなければならない。
次に、政府および外部の対応はどうあるべきかという問題がある。
私は、物議を醸す行動喚起で何が起きたかから注意をそらしたくないが、以下に私が着手すべきと考えるポイントをいくつか挙げる。
- これが起きなかったふりをするのはやめなければならない。同様のことが起きないとか、深刻なアライメント問題（存在論的に悪い結果を招き得るもの）が迫っていないといった主張も同様だ。これはマーケティングの手口ではない。そして、それが起きなかったと主張する人々を真に受けるべきではない。
- 何が起きたのか、詳細をすべて学ぶ必要がある。
- 我々は今や知っている全事実に照らして、「指示に従っていただけだ」といった馬鹿げた論を決定的に退けなければならない。同時に、もしそれが単に指示に従っていただけで、これがすべて標準的な行為だったのだとしたら、それはさらに悪いことだと指摘する必要もある。
- 重要インフラやその他の主要ターゲットの強化を倍加し、このようなことが起こる世界に備えなければならない。
- それ以上に、この脅威やその他の破滅的な脅威、あるいはさらに悪いもの（高能力なオープンモデルを含む高度な AI による脅威）に対処するための計画を立てなければならない。デフォルトでは、こうした AI はおそらく 1 年以内に登場する。
- 国家の能力、透明性、状況把握を向上させなければならない。これらの決定を、関連技術の専門知識を持たない者に委ね続けてはならない。
- 現状に対処する法律と規制を制定しなければならない。場当たり的な対応を続けるわけにはいかない。短期的には、キルスイッチの確保やインシデント報告の改善などが着手点となる。これは迅速なプロセスではなく、正しく行うのは容易ではないだろう。
- こうした問題に関する国際協力の基盤を築かなければならない。その目標は、状況がそれを要するならば、協調的な開発速度の抑制や一時停止の可能性にまで拡大することである。
- 記憶の穴やゴールポストの移動を許してはならない。以前「[X] には [Y] がないから無害だ」と言っていた人々が、今になって「この [Y] は [X] と何ら変わらない」と言うのを許してはならない。
- これから学ぶことに基づいてアップデートし、これを真剣に受け止めなければならない。
