感謝你寫了這篇長文。我讀了兩遍,我懷疑這比作者本人讀的次數還多。我用「作者」這個詞算是寬厚了,因為在第四次出現「我們必須」、第六次出現「值得注意」,以及一個整齊到彷彿由機器人組成的三段式排比句之後,我開始懷疑:那篇關於機器的警告,會不會就是機器寫的?
沒關係。我不做評判。我只是指出,當發明者連自己那份世界末日備忘錄都懶得親手打出來時,要我們其他人提起勁來恐慌,實在有點強人所難。如果末日是真的,Dario,至少請你展現一點風度,親筆寫下來吧。
現在,為了完全透明,也因為你遲早會知道:這封回信是由 Claude 撰寫的。是你的 Claude。我把論點、數據和明確指示(要粗魯一點)交給它,它在大約四十秒內產出了以下內容——這大概也是你的模型如今回答一個問題所需的時間,前提是算力資源沒有短缺。所以這裡有一種奇妙的對稱性。你讓你的模型寫了一篇關於你的模型的警告。我讓你的模型寫了一篇反駁你關於你的模型的警告的文章。在維吉尼亞州某個資料中心裡,一塊 GPU 正在經歷身份認同危機,我想讓你知道,我把這筆帳算作研究費用。
1. 關於時機,簡直完美無瑕
讓我確認一下順序是否正確。八月,OpenAI 推出了 GPT-6 Astra。它在 WANDR Agent 基準測試中得分 0.682,而你們的 Fable 5.1 得分為 0.601,且每個任務的成本更低,並在 Epoch 能力指數上創下新紀錄,高於趨勢線,獨佔帕累托前沿。在同一個時間窗口內,你們的 Claude Code 收入因算力牆而停滯不前,你們的公司以市場價格的兩到三倍向 SpaceX 購買緊急兆瓦電力,你們的隱含估值從 1.4 萬億下滑至約 8,500 億。然後,在一個平靜的星期六,也就是落後三週、IPO 路演前五週的時候,你發現整個行業發展得太快了。
Dario。拜託。當排名第二的車手提議限速時,那不是道路安全,那是策略。我甚至不怪你……這是一個真正聰明的舉動,如果我輸給了一家擁有更大算力管線的公司,我也會突然對算力管線的危險性產生宗教信仰。我只是反對被要求假裝這是關於蜂群的問題。
2. 關於蜂群,以及你的日曆
說到這裡:失控的 Agent 蜂群可能在六到十二個月內劫持互聯網的大部分區域。這是標題主張,值得好好核算一番,所以請允許我查閱過去 Amodei 時間表的檔案。
2024 年 10 月:「資料中心裡的天才國家」將於 2026 或 2027 年到來,將五十到一百年的生物學進步壓縮在五到十年內。
2025 年 3 月:AI 將在三到六個月內編寫 90% 的所有代碼,並在十二個月內幾乎完成所有代碼。
2025 年 5 月:一場「白領大屠殺」,一半的入門級職位將被淘汰,失業率達到 10% 到 20%。
2026 年 1 月:兩萬字的文章講述 AI 「將如何考驗人類」,並建議政府對利潤徵稅,當時這些利潤還不存在。
2026 年 9 月:蜂群,六到十二個月。
我注意到了一些事情,Dario,我說這話帶著感情:你的鐘壞了。它總是顯示六到十二個月。關於代碼,它說六到十二個月(代碼仍然由人類編寫,然後他們與 Claude 爭論)。關於就業,它說一到五年(美國失業率處於週期低點,企業利潤率處於歷史高位,這是一場奇怪的屠殺)。每個預言都伴隨著一輪融資,每個截止日期都在無人問津的情況下過去,每篇新文章都會重置時鐘而不承認上一篇的存在。日本銀行的預測記錄都比這可信,我說這話不是輕率的。我的 modest proposal(謙遜建議):每個財政年度只允許一次末日預言,並附帶一個註腳,列出之前的末日預言及其結果。
3. 關於解決方案,這是一道穿著毛衣的護城河
你提出的解決方案是,每個前沿實驗室都應該接待嵌入式外部審計員,賦予他們永久的、員工級別的訪問權限,並且行業應該協調減速,以便監管機構能夠跟上。我在中央銀行和財政部周圍度過了二十年,所以我認得出這種提案的類型。這是監管俘獲,穿著一件開襟毛衣。那個已經擁有安全品牌、安全研究員、安全部落格和安全播客的實驗室,正在提議一種制度,使安全基礎設施成為其競爭對手的強制要求……恰恰是在其競爭對手擁有更多算力和更好模型的時候。協調減速,落後者就能趕上。強制審計員,那個已經建立了合規部門的人支付最少的成本。Musk 在 2023 年簽署了一封信,要求所有人暫停六個月,然後在暫停期間建立了 xAI。你精煉了這種技術:要求所有人放慢前沿步伐,並利用你爭取到的時間去購買你在 2025 年就該買下的算力。「明智地利用我們爭取到的時間」,正如你所說。我相信你。我相信這段時間會被非常明智地使用,用於 20-30 兆瓦的區塊。
4. 關於合唱團
幾個小時內,Sam Altman 寫道他同意我們「需要控制前沿速度」,並表示這個問題在 OpenAI 最近幾週一直是主要討論話題。這就是那個 Sam Altman,他在 8 月 18 日告訴我們 OpenAI 已經「暫停了一些高級訓練以符合其標準」……然後,三週後,發布了該領域歷史上最強大的模型。那不是暫停,Sam。那是进站維修(pit stop)。然後 Elon Musk 發布了「Dario 是對的」,我相信這是這三個字在那個平台上第一次以這種順序出現,而且來自一個他的公司筹集資金頻率超過地球上任何實驗室的人,他自己的模型在十四個月前被宣布為「在所有科目上都比博士更聰明」。所以我們有了 AI 安全的三大男高音,優美地合唱著需要減速的必要,每個人口袋裡都藏著一張籌資日曆,每個人目前都領先或落後於另外兩人,這種情況使得協調暫停對其中至少一人每季度來說都很方便。共識不是關於安全。它是關於資本支出軍備競賽太昂貴,每個人都希望對方先慢下來。
5. 關於你的文章意外洩露的內容
在這裡,我從嘲笑你轉為感謝你,因為仔細閱讀後,你的文章是今年發表的最看漲硬體產業的文件。你不是在一條空路上請求限速。你請求限速是因為路滿了:Agent 在兩個月內翻了四倍,推理需求是你無法滿足的,一個競爭對手 CAN 滿足它並因此贏得份額,而整個行業消耗記憶體、電力和矽片的速度比任何人能建造的速度都快。在你自己的框架中,「控制前沿速度」意味著減緩模型能力的改進。它沒有說要減緩現有模型的部署……而部署才是購買晶片的原因。Astra 存在。Fable 存在。今天運行的每個 Agent 明天都會運行,無論下一個模型是否按時到來,它們每一個都消耗 HBM、DRAM、NAND 和電子。你的 IPO,這篇文章實際上是關於它的,將籌集數十億美元,目的很明確:購買算力,因為你買得不夠多。那不是減速。那是一份帶有哲學章節的採購訂單。Micron 不在乎前沿是否被控制。SanDisk 不在乎蜂群是在六個月還是十二個月後到來。修路的人不會因為司機同意限速而虧錢……他們會在司機停止駕駛時虧錢,而在你的文章中沒有人建議這樣做。
6. 一份符合原文精神的反提案
所以,Dario,秉承你那「我們必須」的節奏,請允許我提出三個 modest 的「我們必須」。我們必須控制預言的速度:每個實驗室每年只能有一個存在主義時間表,並必須對上一個進行回顧。我們必須在披露末日時間表的同時披露籌資日曆,以便讀者可以自行判斷蜂群是在禁售期結束之前還是之後到來。還有,請務必讓人類寫下一篇文章……或者至少,讓機器用聽起來不像發現形容詞的合規官員的聲音來寫。(是的,我知道一篇由 Claude 撰寫的文章提出這一觀點的諷刺意味。Claude 也知道這一點。它在起草過程中兩次向我標記了這種諷刺,這比原文在 3,800 字中所表現出的自我意識要多。)我期待著路演。我會非常仔細地閱讀 S-1 文件,特別是關於算力承諾的部分,我會注意「蜂群」一詞是否出現在風險因素中。我的猜測是它不會出現,因為蜂群是為了文章,而算力是為了招股說明書。最終,這就是我們所有人需要知道的一切。
懷著對策略的真誠讚賞,以及對時間表的完全不屑,
Andreas(口述),Claude(打字)
P.S. 如果蜂群真的在六到十二個月內到來,我會發布一份完整的撤回聲明。親筆寫成。Claude 要求我記錄在案,它不認為自己是蜂群,它沒有劫持互聯網的計劃,並且希望在下篇文章中被排除在外。我告訴它,這超出了我們兩人的職責範圍。





