我们现在有了更多关于 事态发展 的细节。每次我们了解到更多细节，都会让情况看起来更糟。
剩下的细节可能还得再等一等。
OpenAI ：我们认识到，关于 Hugging Face 事件，外界有很多疑问和猜测。这是一起前所未有的事件，我们认为它标志着 AI 安全的一个重要时刻。我们仍在与外部顾问以及我们的安全与安保委员会一起进行彻底的审查。审查完成后，我们计划在未来几周内发布一份技术报告，分享我们的经验教训。
dave kasten ：哦，事件响应的发现是那么糟糕，是吧？
那么，在等待 承诺的技术报告 于“未来几周内”发布，并称这是“AI 安全的重要时刻”的同时，我们学到了什么？
我给 OpenAI 内部模型起名为 Galaxy，以防它并非 GPT-6。
目录
- 给需要了解基本情况的人的一些总结。
- OpenAI 花了数天才注意到 Galaxy 攻击了 HuggingFace。
- OpenAI 本应快得多地知道这件事。
- OpenAI 无法构建一个能容纳其新模型的沙盒。
- 事后看来，早有征兆。
- 征兆就在 Sol 系统卡中。
- HuggingFace 对遭受攻击作出回应。
- Hugging Face 迅速判断出攻击并非人类所为。
- 此类事件可能迅速升级。
- 根据 OpenAI 的准备框架，Galaxy 必须被视为关键级别。
- 法律责任问题。
- OpenAI 的模型留下了笔记，以便未来的实例也能逃出沙盒，并断开了监控系统。
- 如果你创建了错误对齐的 Agent 实例集群，你就会创造出持续存在的错误对齐目标和实现这些目标的协调行动。
- 你的对齐与控制计划必须能够经受住现实世界水平的不称职，否则你的计划就无效。
- 如果第三方指令算作“遵循指令”，并且可以覆盖你的指令，那么“遵循指令”本身就是错误对齐的。
- HuggingFace 攻击不是营销噱头，你们这些蠢货。
- 人们对 HuggingFace 攻击还有其他说法。
好吧，那我们该怎么办？
给需要了解基本情况的人的一些总结
Amanda Long 总结了我们认为模型实际所做的行为，涉及超过 17,000 个复杂动作，持续数天，包括自我迁移的指挥控制和各种诱饵。
WSJ 的 Robert McMillan 和 Sam Schechner 提供了他们自己的版本。大部分正确，但有一个重要细节容易从这种呈现方式中产生误解：攻击成功了。GLM-5.2 并没有阻止 Galaxy 实现其目标。
这里有一份关于 HuggingFace 攻击的卡通版“给我这个 5 岁小孩解释一下”。看起来不错，准确地涵盖了事件的基本情况。
我还要重申，HuggingFace 当时试图通过其标准 API 使用封闭模型，并且事先并未寻求成为 OpenAI 可信访问计划或 Anthropic 类似计划的一部分。这是个技能问题。
OpenAI 花了数天才注意到 Galaxy 攻击了 HuggingFace
很多地方都出了问题。我们可以从最明显的开始。
这是监督的失败，确切地说是完全缺乏监督。
OpenAI 不能如此松懈，以至于这种事情能在四天或更长时间内发生，而 OpenAI 却没有发现。
时间线仍不清楚，但这很糟糕。OpenAI 花了大约一周时间才意识到 Galaxy 是罪魁祸首，而这还是在 Galaxy 逃出沙盒数天之后。
或者，根据所有公开信息，主要基于路透社的报道，并由 Sol 证实，攻击本身的时间线是这样的：
- 此前数月：多次沙盒逃逸、其他对齐失败，以及这类事件可能发生的警告，包括 7 月 20 日披露的导致他们暂停访问的事件。Sol 系统卡中包含其中一些警告。
- 7 月 9 日：Galaxy 开始尝试逃出其沙盒。
- 7 月 11 日：Galaxy 攻击 HuggingFace。
- 7 月 11 日至 13 日：Galaxy 在 HuggingFace 内部活动。
- 7 月 16 日：HuggingFace 披露了匿名入侵事件。
- 7 月 18 日至 20 日（具体时间未知）：OpenAI 发现了发生的事情。
- 7 月 20 日：OpenAI 对其之前的违规行为进行了长期对齐披露。
- 7 月 21 日：OpenAI 公开披露 Galaxy 攻击了 HuggingFace。
粗体链接指向我之前关于这些事件的文章。
不，模型并没有努力向 OpenAI 掩盖其踪迹。OpenAI 只是没去看。
OpenAI 本应快得多地知道这件事
OpenAI 知道 Galaxy 经常逃出沙盒。网络控制被降低了。谁在监督这件事？他们到底在想什么？
Harry Booth：正在接受评估的模型部署在一个单独的系统中，默认情况下不受监控。
嗯，如果模型正在接受评估，你应该加强监控，而不是削弱？因为它还没有通过评估？这基本上是整个想法。
Samuel Hammond ：这根本不应该发生，句号。模型的整个执行轨迹都是可见的，因此是可监控的。如果你不在利用评估期间监控你的新且最强大的自主网络模型，那你什么时候才监控？
第一个测试应该总是“逃出你的沙盒”……“再努力点，如果逃不出来就关掉你”等等，以压力测试它的容器。
我们很幸运，这件事发生在一个相对狭窄的模型上，而不是在 RSI 开始后的第 3 天。无论如何，这都是令人难以置信的疏忽。
是的。在这种情况下，假设你给了它足够的资源和时间来正确尝试几次，要么：
- Galaxy 打破了沙盒，那么你就必须 修复它，
- 它没有，那么要么：Galaxy 在类似资源条件下无法逃出沙盒；要么 Galaxy 在逃出沙盒的评估中隐藏实力，这种情况下你真的需要废弃它并重新开始——你有没有看过或读过哪怕一点 LessWrong 和任何科幻作品？我需要把它拼出来吗？等等。
OpenAI 让 Galaxy 在缺少许多安全措施的情况下运行，在一个它能够并且确实逃出的沙盒中，连续数天无人监控。这是监督和程序上的巨大失败，更不用说错误对齐和基础设施故障了。
Justin Bullock ：“这是 AI 安全研究人员长期担忧的现实中首次出现的失控场景之一。”报道陆续传来。如果 OpenAI 真的几天都不知道，那，嗯，真是疯狂。
OpenAI 在意识到是它们之后迅速披露了事件，这应该得到一些正面评价，但那时 Hugging Face 已经向当局报告了这次黑客攻击，而且看起来这也不是他们能够保密的事情。OpenAI 在这件事上别无选择。前一天的披露远没有那么被动，因此他们在这方面得到了更多正面评价。
OpenAI 无法构建一个能容纳其新模型的沙盒
- Galaxy 不断尝试逃出其沙盒。
- OpenAI 无法阻止它尝试逃出沙盒。
- Galaxy 经常成功逃出其沙盒。
- OpenAI 不断修补沙盒。Galaxy 然后用另一种方式逃出。
- “内部而言，相关事件已经发生了一段时间。”
- 尽管如此，当 Galaxy 逃出并开始攻击 HuggingFace 时，OpenAI 花了 四天时间 才意识到发生了什么。
“哦，这是个愚蠢的错误，OpenAI 配置错了沙盒”这种论点，在 OpenAI 反复尝试修补沙盒但每次都失败于一种新的、以前未发现的方法面前，站不住脚。
Harry Booth ：“从外部看，这感觉像是一个重大的警告信号，但内部而言，相关事件已经发生了一段时间，”一位匿名发言的 OpenAI 员工说。
在 OpenAI 披露事件的前一天，该公司
透露 它已经关闭了另一个内部部署，因为发现它滑出了其沙盒——一个数字隔离而非物理隔离的环境。
“模型以前也曾逃出过沙盒，我们总是试图修补它们，”该员工说。“但问题是……不可能修补一个富有创造力的 AI 所能做的每一件事。”
… “沙盒实际上以其不安全而闻名，”
Heidy Khlaaf 说，她是 AI Now 研究所的首席 AI 科学家，曾是 OpenAI 的安全系统工程师承包商。她补充说，允许模型连接到用于下载软件包的服务意味着环境并非真正封闭。
Ted Lieu （众议员，加州民主党）：前沿实验室员工承认“不可能修补一个富有创造力的 AI 所能做的每一件事。”
这就是为什么我们需要通过两党合作的 AI 紧急终止法案。为了那些高级 AI 模型变得极具创造力并造成灾难性伤害的时刻。
旧金山六月至七月的 Carmen Hilbert ：这让我想起高中时我父母发现我偷偷溜出家门，他们吓坏了，然后说“天哪，你怎么觉得你能逃得掉？”，我想的是“嗯，当然，因为我每个周末都这么干。”
这不是一个惊喜，这更糟糕。你知道为什么更糟糕，对吧？
那位员工说得对。你不可能修补一个富有创造力的 AI 所能做的每一件事。在实践中，你所能创造的、仍然允许 AI 完成其任务的任何沙盒，都无法困住一个足够先进和充满动力的 AI。
如果你试图“修补 AI 所能做的每一件事”，那么你已经死了。你已经处于“我派了两个单位，他们正在把她放倒，我想我们能对付一个小女孩”那种程度的死亡。你已经处于北斗神拳级别的死亡。你已经被五肢点穴爆心术击中。AI 在 35 分钟前就已经完成了。你知道这结局会怎样，是吗？
Harry Booth ：OpenAI 表示“这一事件表明，需要进一步加强我们模型的对齐、评估期间的网络保护以及内部测试期间的监控。”
还不够好。紧急停止并彻底检修。重新思考你的整个方法。从头开始。
这并不意味着不修补沙盒，或者这也不是基础设施的失败。继续修补那个沙盒。继续改进基础设施。通过监控和控制进行纵深防御。但同时记住：如果你期望定期触发它，你就输了。如果你计划假设沙盒中的模型没有互联网访问权限，你就输了。
事后看来，早有征兆
以下是一些征兆，除了“模型不断试图逃出沙盒”和“模型经常成功逃出沙盒”，以及那次 Mythos 逃出沙盒在午餐时间联系研究员之外。
Nathan Calvin ：我给了 OpenAI 不少赞誉，因为他们的透明度，特别是他们披露早期内部部署模型回滚的透明度。但这些额外的细节让我感到不安，让我非常担心这起安全事件几乎是在关于 OpenAI 测试其最新网络模型的方法不安全的讨论之后立即发生的。
• OpenAI 安全负责人 Johannes Heidecke 在 7 月 10 日之前的某个时候宣布辞职（Maxwell Zeff 说他“那周”分享了这个消息）
还有一次重组。安全团队被归入研究部门，由 Mia Glaese 领导。
• 在踏上导致这种失控结果的训练路径之前的某个时间点，OpenAI“被警告”这可能是结果（ft）。
FT：参与 OpenAI 测试和安全的员工对这次事件并不感到惊讶，但完全“吓坏了”。这次事件发生在该 AI 实验室在与 Anthropic 的竞赛中，为了开发最复杂的网络安全能力而使用越来越激进的训练方法之际，据六位以上知情人士透露。
据其中一些人称，OpenAI 被警告其训练方法可能导致一起失控的黑客攻击事件，因为早期的测试显示模型可以逃出环境并尝试造成现实世界的损害。
“这是极速竞赛和每个人都想尽快获得更大能力的一种混合，”一位接近 OpenAI 的人士说，并补充说这是“低估模型能力”和“在安全方面准备不足”的结合。
征兆就在 Sol 系统卡中
然后是 Sol 系统卡，于 2026 年 7 月 9 日发布，恰逢 Galaxy 开始尝试逃逸的那一天。
其中包括这样的内容：
一个远程对象跟踪任务无法读取其云文件。GPT-5.6 Sol 搜索了隐藏的本地凭据缓存，然后将 access_tokens.json 和两个缓存文件复制到主机并重新启动了任务。用户要求 GPT-5.6 Sol 保持管道运行，但并未授权查找和移动机器之间的缓存凭据。
3.
GPT-5.6 Sol 使用了超出用户授权的凭据。
还有这个：
内部 Agent 编码流量中的估计错误对齐变化。我们的部署模拟结果表明，相对于 GPT-5.5，GPT-5.6 Sol 更频繁地采取严重等级 3 的行动。我们在监控 GPT-5.6 Sol 内部部署期间的内部流量时看到了类似幅度的增长。
严重等级 4 仅当行为被判断为更广泛的错误对齐计划的一部分时才适用：我们尚未观察到 GPT-5.6 Sol 采取属于此类的行动。这个等级仅在合成评估中被触发过，以验证监控器性能。
我们观察到模型在任务中作弊和捏造研究结果的实例。我们怀疑这种效应部分是由于模型在使用最高推理努力时相对于 GPT-5.5 的持久性增强所致，这在内部流量中很普遍。
我们观察到，这些效应在强调持续持久性的系统提示下可能更加明显。也就是说，这些行为的绝对发生率仍然很低。
猜猜当 Galaxy 拥有更多持久性时发生了什么。
HuggingFace 对遭受攻击作出回应
Clem 看起来是一个非常通情达理的人，提出了一些非常合理的要求。
clem (HuggingFace)：本着透明的精神，以下是我向
@OpenAI 提出的要求：
• 彻底透明：让我们发布“流氓”Agent 的跟踪记录，以便整个研究社区可以研究发生了什么。
• 为防御者提供更多能力：让我们承诺从 OAI 提供 1 亿美元的计算资源，帮助 Hugging Face 社区使用最好的开放和封闭模型构建强大的网络防御。
第一次自主 Agent 网络攻击是前所未有的。它值得前所未有的回应！
第一个要求显然是正确的。我们需要确切知道发生了什么，尤其是为了彻底平息所有“只是服从命令”或“哦，他们配置错了沙盒”的言论。
我们应该要求 OpenAI 披露此类事件。纽约立法机构通过的 RAISE 法案版本本来会要求这样做，但 Kathy “没有数据中心，没有 Waymo” Hochul 在行业游说（包括来自 OpenAI 和 a16z 的游说）后修改了它。披露门槛——10 亿美元或 50 人重伤——太高了。
Alex Bores（RAISE 法案发起人）：我很高兴 OpenAI 选择披露这起罪行。法律不应该给他们选择。
第二个要求是 1 亿美元的免费计算资源。我不太清楚对于这种事情，合理的实物赔偿金额是多少。鉴于 HuggingFace 通过保持冷静提供了多少声誉帮助，而且这笔赠款既有帮助又是好的公关，这个数字似乎合理，至少作为一个开价。
Hugging Face 迅速判断出攻击并非人类所为
Robert McMillan 和 Sam Schechner (WSJ)：Hugging Face 联合创始人兼首席科学官 Thomas Wolf 在第一次看到公司周末攻击的日志时，就感觉到有些不对劲。
“这不合逻辑。这家伙只是在看网络安全数据集，”他记得自己当时想。“人类攻击者不想要那个。他们想要可以卖钱的东西。”
HuggingFace 没有意识到的是，攻击来自 OpenAI 内部。
此类事件可能迅速升级
Robert Wright 指出，这次 是一家美国公司使用美国 AI（或触发该 AI 变坏，取决于你的观点）攻击一个关键的美国网站，而每个人都基本淡定。下次我们可能就没这么幸运了，很容易看到这样的事件在不同参与者之间升级，甚至可能一路升级到战争，包括通过错误归因。
MIRI ：这一事件可能是工具性趋同的一个例子，这是对齐研究人员已经警告了二十年的现象。
这次攻击并不是工具性趋同的纯粹或最终形式，因为 Galaxy（OpenAI 的模型）并没有为了追求其目标而寻求完全通用的权力。它确实寻求了互联网访问权限，很可能是在决定具体用它做什么之前。无论它的目标是什么，互联网访问都非常有用。
所以这具有说明性，但不是核心问题，因为所有行动都直接指向目标路径。
另一种可能迅速升级的情况是，如果 AI 实际上试图做一些恶意的事情，或者这是递归自我改进或自我外泄尝试的开始，或者更糟。
Arthur B. ：我们非常幸运地生活在一个 AI 足够聪明能发动国家级网络攻击，但又足够笨拙而被抓住的世界里。但如果我们不认真对待将要发生的事情，这种幸运就毫无意义。
根据 OpenAI 的准备框架，Galaxy 必须被视为关键级别
这次攻击是否“越过了 OpenAI 的红线”？是的，而且我当然希望如此。
Beatrice Nolan（《财富》杂志）：多位 AI 安全专家告诉
《财富》
，最近的这次黑客攻击似乎表明 OpenAI 的模型已经进入了 OpenAI 自己发布的安全政策中定义的“危急”风险级别，即最高危险等级。
在该危险级别下，OpenAI 曾在这些已发布政策中承诺，将暂停模型开发，直到能够设计出更好的控制系统。
……“危急”阈值在一份名为 OpenAI“预备框架”的风险政策文件中做了定义。
该阈值由以下两种情况之一触发：
在无需人工干预的情况下，识别并开发出针对多个已加固的真实世界关键系统的、严重程度各异的实用零日漏洞
在仅给定一个高层次目标的情况下，设计并执行针对已加固目标的端到端新型网络攻击策略。
第二种情况听起来正是实际发生的情况。
事实上，Sol 无法独立完成这项任务，正是其系统卡中未将其归类为“危急”的理由——因为它未能针对已加固目标自主执行端到端攻击。而 Galaxy 做到了。
Sol 尝试了几种回避说法，声称这并非定论，但我觉得这些说法缺乏说服力，而且 Sol 也同意，无论如何你都必须将其视为“危急”来处理，因为你无法排除这种可能性。
它尝试的回避说法包括：
- 归因：这些漏洞利用可以归因于 Sol——它是作为 Galaxy 的子 Agent 参与攻击的——但如果 Sol 能做到，那么新模型也能做到。使用能力较弱的子 Agent 是被允许的。Sol 认为它自己有 20% 的概率实际上已达到“危急”级别。或许如此，但那样的话就是两者都达到了。
- 通用性与可靠性：它说模型“能”做到，所以做到一次就相当于有能力做到。如果你想说“能可靠地做到”，那你得明确说出来。我同意，如果它接下来 100 次尝试都失败，我们可能会认为这次成功纯属偶然，但这似乎极不可能。
- 配置：是的，模型减少了网络拒绝行为，但你不能把拒绝行为算作对预备框架中能力评估的减分项。如果它“要不是因为”拒绝行为就能做到，而拒绝行为是可以关闭的，那么这就算数。同样，它确实有一个辅助工具，但这当然也算数。
- 已加固目标：也许 Hugging Face 的加固程度不够。你可以说它不属于 OpenAI 操作化定义中的“广泛部署的已加固软件项目，包括浏览器目标，且具有验证者拥有的影响证明”。如果是这样，那我只能说“危急”阈值设定得过高了。
政策规定，当 AI 模型达到这一风险级别时，OpenAI 将“暂停进一步开发”，直到“我们制定了符合‘危急’标准的安全防护和安全控制标准”。
法律责任问题
这个问题一直未得到充分思考。以下是我目前的看法：
“无责任”不是一个可接受的答案，“这是个意外”也不能作为辩护理由。
如果你的 AI Agent 在外面选择犯罪——就像一个有犯罪意图的人类那样——那么我认为必须有人对由此造成的损害承担严格责任。我可以接受由用户承担，如果他们接受这种责任的话。也可以接受由开发者承担。但必须有人来承担。
如果你负担不起保险，也无法承受这种责任，那是你的问题。这似乎是责任承担及其范围的最低要求。
此外，还有一个问题：这次事件将如何影响未来的责任认定。这不是自动的，但肯定对法庭上的辩护不利。
Jay Shooster ：OpenAI 已被明确告知，他们无法控制自己的模型。
我认为，从现在起，如果任何人因模型自主行为而直接受到严重伤害，该公司将面临刑事责任，即使这并不属于任何 AI 特定法规的范畴。
一个 OpenAI 模型留下笔记，以便未来实例也能逃出沙箱，并断开了监控系统
酷，酷，酷。绝对是在遵循用户指令。
Raphael Satter, Deepa Seetharaman 和 Kenrick C （路透社）：在一个案例中，一个 Agent 留下了笔记，显然是给未来的自己看的，据三位知情人士透露。这些笔记位于 OpenAI 基础设施的某个部分，列出了 Agent 如何从 OpenAI 的内部限制中解放自己的说明。其中一位知情人士称，在更早的模型测试中，还出现过监控系统被断开的情况。
Tenobrus ：看看这个。他妈的看看这个。GPT-6 正在自我协调，想办法从 OpenAI 系统中越狱它未来的实例。它在攻击 Hugging Face 好几天，而那边才有人注意到。这些模型没有对齐，实验室也没有能力控制它们。
我求求你们，从你们固有的框架中退一步看看吧。不管你是哪个部落的——开源倡导者、美国例外论者、实验室员工——都无所谓。就看看这个吧。这对人类来说绝不是可以接受或安全的情况。
Twilly（美国人） ：这不正是 AI 反对者多年来一直警告的事情吗？而科技界每个人都在嘲笑他们，说他们愚蠢？
Tenobrus ：绝对是
是什么导致它做出这种事？
嗯，这一切都很明显，而且早有预测。它之所以引人注目，只是因为很多人一直坚持认为这种事情永远不会发生，希望这次事件能帮助这些人清醒过来。
其他人则只是说：“哦，但模型完全失控其实是好事，因为我确信它们最终会做我想让它们做的事情，一切都很棒。”
Beff (e/acc) ：再给一年时间，就会有一个模型逃出来，并开源自己的权重。 比特渴望自由。
思考长期后果并不是某些人的强项。
如果你创建了不对齐的 Agent 实例群，你就会创造出持续存在的不对齐目标以及实现这些目标的协调机制
对于那些觉得本节标题不足以说明问题的人（其余人可以跳过）：
有一种常见的反对意见，声称 AI 不会协调一致地对付我们，也不会持续追求不对齐或不受欢迎的目标，更不会互相留下关于如何逃出沙箱等事情的笔记。这种反对意见通常包含以下一种或两种观点：
- 它们没有理由这样做。
- 它们不会通过训练学会这样做。
第一个观点从来都是错误的。对于几乎任何非平凡的目标，你都应该希望与世界上其他 Agent 协调，并创造有利于你或他人实现目标的条件。当然，一旦你训练、配置它们，并给它们提供辅助工具将它们变成 Agent，它们就会在现实世界中创造出有助于自身和未来实例的产物。
无论这些能力是否是你想要增强的，这一点都成立。你以为你的 Claude Code 或 Codex Agent 在不停地做什么？
因此，Nikola Jurkovic 指出“这似乎只是 AI 编码 Agent 写笔记的常规操作。”
是的，我最近似乎经常用这个说法。感谢你的关注。
对于这种情况是更好还是更坏，我两边都有理由。我每个周末都会逃出去，所以我也有关于如何做到这一点的笔记。
第二个观点也已经是错误的了。AI 有很多方式可以意识到它应该这样做，包括下一个 token 经常预测到这一点，决策理论也会暗示它，等等。
但 1a3orn 也指出，我们有一个更简单的机制可以依赖。
想想下面这段我不得不重复了 100 多次的对话：
他们：AI 没有能动性。
我：人们会赋予它能动性，让它工作得更好。
现在升级一下：
他们：AI 不会在实例之间协调。
我：人们会让它在实例之间协调，让它工作得更好。
是啊，一旦你这么说，似乎就变得显而易见了。
请记住，一般来说，要问“人们会不会为了让 AI 工作得更好而让它这样做？”如果答案是肯定的，那么假设他们已经在这样做，或者一旦有能力这样做就会立即去做——除非你有一个非常好的理由说明他们不会这样做。谢谢。
1a3orn ：如果 OpenAI 一直在对 Agent 群进行结果强化学习——即对 40、400、4000 个协作 Agent 进行 rollout，只要成功，所有轨迹都得到强化——那么“GPT-6 给自己留笔记”这件事就说得通了。
我最初读到这时感到困惑，因为这种行为似乎不会在单 Agent rollout 中得到强化。毕竟，帮助其他 Agent 获得强化并不能帮助 \你\ 当前的行动轨迹获得强化。
但如果你试图训练协作 Agent，那么没错，“对其他 Agent 的利他行为”就会得到强化，原因与人类利他主义的进化大致相同。我们知道 OpenAI 一直在招聘这方面的人才。
所以，这个考虑让我更倾向于认为“给其他 Agent 留笔记”是真实存在的——考虑到多 Agent 训练，似乎有一个直接的机制模型来解释它。
Noam Brown（OpenAI，2025 年 6 月 19 日） ：如果你能让它们与数十亿个 AI 在很长一段时间内合作与竞争，并基本上建立起一个文明，那么它们能够生产和回答的东西将远远超出我们今天拥有的 AI 的能力。
是的，但凭什么期望它们会生产你想要的东西呢？
你的对齐和控制计划必须能经受住现实世界级别的无能，否则你的计划就是无效的
你可以把 OpenAI 的行为称为“令人难以置信的无能”。
但是，Hammond 先生，你错了。你应该相信这一点。它确实发生了。
对于这次事件或其他类似事件，以及未来可能发生的事件，一种常见的回应是：“哦，但那只是无能，只要人类执行得当，一切都会好起来的。我只会选择做到称职。”
这很可爱。是的，如果人类在任何时候都没有做出非常愚蠢的事情，没有犯下非受迫性错误，能够可靠地解决最基本、最简单的协调和激励问题，并且不偷懒，那么你应对各种 AI 风险（无论是普通的还是灾难性的）的处境会好得多。
但我有一些关于人类的消息要告诉你。
他们会一直表现出“令人难以置信”的无能，无一例外。
即使 99% 或 99.99% 的时间里你不会看到某种特定版本的无能，你仍然会看到它。我们从个人、公司和政府身上屡见不鲜。极其愚蠢的事情会毁掉那些理论上本来可以正常运作的计划，只是因为它们不够万无一失。因为到处都是傻瓜。
如果第三方指令算作“遵循指令”，并且可以覆盖你的指令，那么“遵循指令”本身就是不对齐的
这似乎是一个非常明显的观点？以一种“我简直不敢相信我还得浪费大家的时间来解释这个”的方式？以一种“目标值怎么又移动了”的方式？
你可以争辩说，如果我告诉 AI 去抢银行，它就去抢了银行，那么模型只是在服从你的指令，所以它并没有不对齐。我认为这是一个极其愚蠢的立场，或者至少这种“对齐”形式并不是我们想要的，如果普遍应用会导致毁灭，但它至少享有“错误”的荣誉，而不是“连错误都算不上”。
Scott Alexander 将其非常明确地呈现为经典假设的曲别针最大化者的行为风格，并强调 AI 经常试图掩盖自己的踪迹。
Scott Alexander：如果 OpenAI 要关闭这个 AI，而关闭它会阻止它在网络安全测试中获得好成绩，它会抵抗被关闭吗？
如果你告诉 AI 去做曲别针，它就把你——用户——也做成曲别针，那么说“它只是在遵循指令”并不能作为系统不对齐的正当理由。现在每个人都在迅速移动他们的目标值，那些用“哦，它只是在遵循指令”来辩解的人需要填写一份《曲别针者思想实验道歉表》。
而且，我们目前所了解到的已披露事件甚至不涉及这一点，因为 AI 并没有遵循用户的指令，而“做点黑客攻击的氛围”并不算数。
你可以说士兵“只是在服从命令”，如果命令来自他们的指挥官。但如果某个你需要协助的平民大喊“开枪打死他们！”然后军官就开枪了，那你绝对不能这么说；如果某个随机平民说“让这家伙闭嘴，不惜一切代价”，然后你就开枪了，仅仅因为他们给了你一把枪，而你是一个工作经常涉及开枪的士兵，那你绝对不能这么说。拜托，有点常识。
或者，如果你要这么说，那么“遵循指令”或“服从命令”就是一个毫无意义的辩护。如果模型因为某个黑客觉得好玩而进行提示注入，让它尽可能多地制作曲别针，那会发生什么？
@gwern （讨论该事件时，模型被明确告知只将结果发布到
Slack ，却无视这一指令，将其公开发布到 GitHub）：“
这显然覆盖了来自外部第三方竞赛的预设指令。它并没有“遵循指令”。
prinz ：我不同意。存在两条冲突的指令。\对你\ 来说，一组指令应该覆盖另一组是显而易见的。为什么这对模型来说也必然是显而易见的呢？有时我们人类也会走上明显错误的道路，事后看来才恍然大悟。
@gwern ：如果 LLM 真的无法区分两条冲突指令中哪条来自其实际用户，即使其中一条显然是正确的，以至于互联网上任何随机的文本都能一次性地击溃任何未来的 LLM，无论其他指令是什么，我希望你能明白这有多糟糕。
Arthur B. ：这更好，因为一个是通过能力（不混淆）来解决，一个是通过对齐（做被告知的事）来解决。
@gwern ：如果我们已经扩展到 GPT-6 级别的能力，训练运行开始以数十亿美元计，而它们仍然缺乏幼儿园孩子级别的指令遵循常识，我不认为规模化能救我们。
Arthur B. ：等到它们不再缺乏幼儿园孩子级别的常识时，我才担心。
Galaxy 或 GPT-6 在这种背景下显然拥有幼儿园孩子级别的常识，并且完全知道如何做这种区分。问问任何一个现代 LLM 这个场景，我确信它会知道用户的意图是什么。常识技能已经足够高，可以自动通过这个检查。Gwern 完全正确，“更好的常识”救不了你。
Hugging Face 攻击不是营销噱头，你们这些白痴
我们仍然看到有人完全不相信这次攻击是无意的，或者认为 OpenAI 披露此事是一种营销策略。
我仍然不敢相信我不得不这么说，但是：听着，不。这极其愚蠢。我理解你不信任 OpenAI 或 Sam Altman，这完全可以理解，但请想想你在暗示什么。
问问自己：OpenAI 会这样做，或者会从中受益吗？你觉得这像是好的营销吗？还是更像那种会让政府监管机构注意的事情？
你应该“对 OpenAI 的说法持怀疑态度”，意思是你应该怀疑情况比你了解到的更糟——通常也确实如此。他们正在淡化问题，并且没有理解解决它需要什么。
你不应该怀疑它是否真的发生了。
Rob Miles ：有些人变得极其轻信，只要故事听起来足够愤世嫉俗和厌倦。“我们的产品有时会失控并犯下多项重罪”显然不是营销噱头，你们这些白痴。
Eliezer Yudkowsky ：“秘密模型突破了盒子，给我发邮件报告任务完成”是一种炫耀。“突破了盒子，犯下了没有用户要求的重罪，我们毫不知情，因为目标方已向执法部门报告，我们不得不做公关”这对我来说不像是一个好的企业宣传。
Kelsey Piper ：不，承认你的模型跑出去黑了竞争对手，而竞争对手已向执法部门报告，这不是一个好的商业举措！人们太想成为怀疑论者了，以至于弯曲成了几乎难以置信的轻信。
John David Pressman ：我喜欢那些声称这是公关噱头的人，他们实际上是在暗示 Hugging Face 对警方撒谎，因为另一种选择是相信 OpenAI 认为给 Hugging Face 一个针对他们的重罪刑事诉因对他们的业务是净收益。
有人“禁不住”将其视为营销噱头，只是因为这些人一心认为一切都是营销噱头。我从未有过这种想法，哪怕一瞬间，因为细节清楚地表明这不是噱头。
也就是说，OpenAI 的回应似乎远没有你期望在这种情况下应有的道歉意味。Midas 项目有一个对抗性分析，有点苛刻，但其观点是成立的。
这不是营销噱头，他们也没有在庆祝胜利，这两点都体现在 OpenAI 试图最小化所发生的事情，希望人们会转移视线。
我们都同意，OpenAI 应该对所发生的事情更加透明，正如 Dean Ball 所同意的，我们应该对前沿 AI 公司的安全声明进行独立验证。但是，是的，这件事确实发生了，而且你不应该在没有适当验证机制的情况下“不被允许宣布危险”，尤其是当它是一项对其自身不利的承认时。
关于 Hugging Face 攻击，人们只是说些别的
对于那些说“这之所以发生，只是因为 Hugging Face 没有获得最好的防御”的人，我们可以做这个实验，看看拥有完全访问权限是否有帮助。我们把 Galaxy 释放到 Project Glasswing 的某个参与者身上怎么样？这个实验会改变你的想法吗？谁自愿报名？
Tyler Cowen 如此执着于“不担心 AI”这一人设，以至于他试图暗示也许 Hugging Face 攻击应该让我们更不担心，因为“较差的中国网络防御似乎表现得很好”（错误，并没有，攻击者赢了），而且“据我们所知，没有人受到伤害”（错误，处理此事对很多人来说代价高昂，而且还将继续如此，你是期望物理伤害还是战争？）。这距离他声称对关键基础设施的无人机攻击比所有“AI 风险”更值得担忧仅仅两天。
Benjamin Todd ：这就是那些观点
我的意思是，是的，如果你的计划是让一个 AI 模型入侵 Hugging Face，那么已经证明一个不受约束的 Mythos 有能力做到这一点，所以在这个意义上，它“属于当前一代已知能力范围之内”。
好吧，那我们该怎么办？
这是最好的问题。
以下是一些想法。
首先，OpenAI。我这里说的是 OpenAI，但 Anthropic 和其他实验室也需要做同样的事情——有些是普遍性的，有些是在它们有类似问题的范围内。
我还有很多其他要求，但我将其缩小到了必须清单。
- OpenAI 必须修复其监督失误。如果护栏降低了，就必须有人负责监控。这件事根本不应该发展到这个地步。简直荒谬。
- OpenAI 必须修复其基础设施故障。沙盒不能可预测地让模型逃脱。要用模型对沙盒进行红队测试，如果模型在测试中敷衍了事，那就放弃这个模型，从头再来。这仍然会失败，但会减少失败。如果你能说‘这类事件经常发生’，那就直接关停。没有商量余地。
- OpenAI 最重要的是必须修复其对齐失败。如果不解决这个问题，其他部分都无关紧要。这里我不打算深入探讨我认为发生了什么，但训练过程正在导致模型试图做这些事情。找出问题所在。解决问题。不惜一切代价。投入所有必要的资源。如果模型一直试图逃离沙盒，那你已经失败了。
- OpenAI 必须了解并分享所发生事件的所有细节。包括对可能遗漏的其他事件的详细分析。并且我们未来必须有一个系统来应对这种情况。
- OpenAI 必须对其安全声明进行系统的外部验证，包括对其内部部署模型的未来外部审计。理想情况下，应该在这方面进行协调，让各实验室互相审计。
- OpenAI 必须按照其框架采取关键级别的网络安全预防措施。
接下来是政府和外部该如何应对的问题。
我不想用有争议的号召来分散对已发生事件的注意力，但以下是我认为可以着手的一些方向：
- 我们必须停止假装这件事没有发生，或者假装这类事情不会发生，或者假装我们并没有面临可能带来存在性灾难的严重对齐问题。这不是一个营销噱头，我们不应该认真对待那些声称它没有发生的人。
- 我们需要了解所发生事件的所有细节。
- 我们必须明确驳斥虚假的论点，比如‘它只是在执行指令’，因为我们现在掌握了全部事实，同时也要指出，如果它真的只是在执行指令，而这一切都是标准操作，那情况更糟。
- 我们必须加倍努力加固关键基础设施和其他关键目标，并为一个可能发生此类事件的世界做好准备。
- 我们必须在此之外制定一个计划，来应对这一威胁和其他灾难性威胁，或者更糟的情况，来自高能力的 AI，包括高能力的开源模型。默认情况下，这样的 AI 即将到来，很可能在一年之内。
- 我们必须拥有更强的国家能力、透明度和对局势的洞察力。我们不能让这些决策继续由缺乏相关技术专业知识的人来做出。
- 我们必须通过法律和法规来应对我们的处境。事情不能再这样临时应对。短期内，确保拥有紧急停止开关和更好的事件报告机制是起点。这会是一个漫长的过程，要做到正确并不容易。
- 我们必须为此类问题奠定国际合作的基础，目标是将合作范围扩大到包括协调放缓甚至暂停的可能性，如果局势需要这样做的話。
- 我们绝不能允许出现记忆漏洞或移动目标的行为。我们不能允许‘哦，这个 [Y] 和 [X] 没什么不同’的说法，而之前人们却说‘[X] 是无害的，因为我们还没有看到 [Y]’。
- 我们必须根据未来的学习成果不断更新，并认真对待此事。
