你是否曾經好奇，DeepSeek 要如何賺錢，而且是賺大錢？
他們不像 GLM、MoonShot 和 MiniMax 那樣提出競爭性的程式碼方案。他們沒有多模態、音訊或影片模型。到目前為止，他們也還沒有一個成熟的框架（他們最近才開始招聘相關人才）？DeepSeek 也承諾長期開源，並且樂於分享他們的獨門秘方。這難道是瘋了嗎？這難道是純粹的浪費錢嗎？那些準備投資 100 億美元給他們的投資人，難道是在把錢丟進水裡嗎？
不——恰恰相反，在我看來！
在此，我提出一些觀察，關於他們迄今為止的成就，以及他們似乎正在遵循的策略。 梁文鋒（DeepSeek 執行長）的目標似乎是一個更大的獎項，他們不僅可以達到 1 兆美元的估值，還能協助創造一個 10 兆美元的產業！
重新審視 DeepSeek 的英雄之旅
DeepSeek 總是逆風而行，不去追求逐步改進模型並試圖銷售即時應用（例如程式碼方案）。我在 2025 年 1 月 27 日發了一篇爆紅的推文，談論我所看到的 DeepSeek 的英雄之旅。這個故事變得越來越有趣。
- 當人們試圖建構密集模型時，DeepSeek 卻選擇了難以訓練的混合專家模型（MoE）。
- 他們從「第一性原理」出發，發明了新的演算法 GRPO，取代了主流的、實作成本更高的強化學習（RL）PPO 演算法。
- 他們發現「基於驗證獎勵的強化學習（RLVR）」是提升模型推理能力的關鍵策略。
- 他們提出了一個簡單的策略，透過「多 Token 預測」來實現推測解碼，同時也強化了訓練訊號。
- 他們完善了「零氣泡」管線，以改善有限 GPU 資源的使用效率。
- 他們發表了「專家負載平衡器」，讓大家更容易部署混合專家模型。特別是透過「寬專家並行」策略，可以更經濟地提供模型服務，因為可以容納大批次處理。
- 他們發明了 MLA、DSA、CSA、HCA 來減少 KV 快取需求，並在不斷增長的上下文長度下，讓計算需求保持近乎恆定。
- 他們發明了 Engram，用以記憶換取計算。
- 他們發明了 mHC，以在模型規模增長時實現穩定的訓練。而這份清單還在繼續……
在英雄之旅的故事結構（最普遍的結構）中，英雄從不決定自己的旅程會是什麼樣子。他一路學習，為自己找到一個偉大的使命，並克服萬難完成它。他遇到許多唱反調的人，但他不理會他們。他遇到許多心懷不軌的人。他有一個巨大的缺點或不足——但他克服了這些，完成了他的使命。他面對看似無法克服的挑戰，但卻想出如何結盟以及如何明智地運用寶貴資源。這就是讓觀眾為英雄加油的原因。這也是 DeepSeek 贏得粉絲追隨、全球尊重以及反對者的原因。
正如我將詳細說明的，DeepSeek 踏上這段旅程已經夠久了，他們發現了最終的命運：不是銷售程式碼方案，而是催生一個 10 兆美元的中國 AI 硬體生態系，並為自己實現 1 兆美元的估值。如此一來，他們也將為西方硬體生態系帶來許多新的參與者。
歡迎批評指教： @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang
先來點 KV 快取計算的樂趣：
閱讀這則來自 @SemiAnalysis_ 的即時推文：
讓我們先做些有趣的 KV 快取數學運算。如果你不喜歡數學也別擔心。我們將使用最近發布的 KV 快取計算器，來看看 DeepSeek V4 Pro 實現的 KV 快取節省，並與最新的 GLM 和 Qwen 模型進行比較。
我以 100 萬上下文為例。我假設 8 位元 KV 精度和 16 位元索引器精度。你可以玩玩看這個計算器。
https://kvcache.ai/tools/kv-cache-calculator/
對於 100 萬上下文
- DeepSeek V4 只需要 5.48GB 的 HBM
- GML5 需要 60GB 的 HBM
- Qwen3-235B-A22B 則需要高達 89GB 的 HBM
請注意
- DeepSeek 是 1.6T 參數模型，
- GLM5 約為 700B 參數，它已經使用了 DeepSeek 的 MLA 和 DSA；雖然不是最新的壓縮注意力機制
- Qwen3-235B-A22B 約為 235B 參數，並使用 GQA 注意力機制
DeepSeek 為緩解記憶體壓力做出了基礎性貢獻。如果這項創新被廣泛採用，可以使長程 Agent 變得非常經濟，並解鎖下一波使用案例。
瘋狂背後的邏輯：
如此小的 KV 快取大小——且在不犧牲品質的前提下——是他們能夠以如此荒謬的低價提供長期快取的原因——價格不到 Sonnet 4.6 快取命中價格的 3%——而且他們可以保持快取數小時。
對於長程任務來說，少量的快取可以實現非常經濟地卸載到 SSD 並重新載入。這減少了對 HBM 的需求，而對於中國 AI 硬體產業來說，HBM 是供應最短缺、最難製造的記憶體。DeepSeek 也開發了從 SSD 更快載入 KV 快取的技術，如 Dual Path 論文 所述。
KV 快取壓縮的直接受益者是誰？
誰大量供應 SSD？記住，YMTC 正崛起為 3D NAND 巨頭。NAND 讓 DeepSeek 能夠避免重新計算 KV。反過來，DeepSeek 為 NAND 和 SSD 創造了一個巨大的市場——不僅是 YMTC 的，還包括其他所有廠商的。
然而，這不僅關乎 NAND 和 SSD：
LPDDR 記憶體有巨大潛力成為存放權重的地方，並根據需要將其串流到 HBM 中，從而減少對 HBM 的需求壓力。SGLang 團隊發表了一篇關於此主題的精彩部落格文章。 我在下面提供圖表來說明這個方案的工作原理。
雖然 DeepSeek 並沒有專門為此做什麼——但他們採用大量專家、4 位元權重的 MoE 架構，使得實現這個方案變得容易。
這項創新結合超緊湊（無損）的 KV 快取，顯著降低了對 HBM 的需求。
誰在中國製造 LPDDR？是 CXMT。他們在 LPDDR 速度上僅落後 0.5 代，在密度上落後 1 代。差距不大！此外，憑藉充裕的 NAND，中國生態系在不久的將來將擁有充裕的 LPDDR。這能緩解計算壓力嗎？是的。請繼續看……
巧妙地運用記憶體也能減輕 GPU/ASIC 的壓力
很明顯，使用 NAND 作為 KV 快取可以延長 KV 快取的保留時間，減輕 HBM 的壓力，並有助於避免重新計算 KV 快取，從而減輕 GPU 和 ASIC 的計算壓力。LPDDR 是否也能以類似的方式提供幫助，同時還能作為「即時」串流權重的來源？答案是肯定的。
LPDDR 支援容納大量的所謂「Engram」。在他們的 Engram 論文 中，DeepSeek 表明，雖然 MoE 透過條件計算來擴展容量，但 Transformer 缺乏用於知識查找的原生原語。它們被迫透過計算來低效地模擬檢索。他們引入了 Engram，這個模組將經典的 N-gram 嵌入現代化為 O(1) 的基於雜湊的查找，創造了一個他們稱之為條件記憶的互補稀疏軸。這節省了計算，但需要記憶體來容納可能很大的嵌入表。這是一個經典的記憶體-計算取捨，但關鍵見解在於「記憶」端每次檢索的位元成本遠低於計算端（一次 LPDDR 查找 vs. 通過 Transformer 層的完整前向傳傳傳遞），使其在規模化時成為一個非常有利的交換。這就是他們如何透過交換記憶體來節省計算！
值得進行的權衡：由於沒有 EUV 設備，中國的 GPU 和 ASIC 在原始 FLOPs 上將永遠落後於西方的 GPU。他們在封裝技術上也相當落後。因此，這樣的權衡是非常值得的，特別是如果你能製造出充裕的 NAND 和 LPDDR 記憶體。
重新審視 DeepSeek 的長遠佈局：
從所有這些創新來看，考慮到他們所做的所有選擇（還沒有多模態、沒有語音模型、沒有影片——那是什麼？），DeepSeek 的目標似乎不是立即賺取數億美元的利潤——而是在玩一個耐心的 10 兆美元遊戲，以實現一個替代性的硬體生態系。
這不僅是為了讓中國記憶體廠商成為中國和全球 AI 硬體領域的關鍵參與者，也是為了減少資源需求本身，以便能夠經濟有效地訓練和提供 AI 模型——這將使許多 GPU/ASIC 製造商以及網路晶片製造商受益，因為他們將成為可行的選擇。所有這些創新也將有助於西方的開源生態系以及新的硬體製造商。
所有跡象都已經存在。讓我們詳細回顧一下他們提出的所有創新：
- 在 DeepSeek V2 中引入的混合專家模型（MoE）和 MLA。MoE 使得能夠以減少 40% 到 50% 的計算量來訓練非常智慧的模型。MLA 使得 KV 快取減少 90%。這使得將 KV 快取卸載到 SSD 變得非常有效率。這些想法是在他們 2024 年 5 月的論文 DeepSeek V2 中提出的。它後來解鎖了 DeepSeek V3 的訓練，當時該模型幾乎是閉源的，僅使用 2048 個被削弱效能的 H800 GPU。
- DSA（於 DeepSeek V3.2 Exp 中引入）用於減少長上下文場景的計算量，並減輕 HBM 頻寬的壓力。它確保計算不會隨著上下文增長而增長。請看下面的圖表——DeepSeek-v3.2 的處理時間隨著上下文增加而保持平穩。
- mHC 於 2025 年 12 月在論文 mHC: Manifold-Constrained Hyper-Connections 中引入。mHC 是 DeepSeek 的一項巨集觀架構創新，它重新發明了資訊在 Transformer 層之間流動的方式。自 ResNet 以來，標準的殘差連接（x + F(x)）被 mHC 擴展為多條並行的資訊高速公路，並允許學習它們之間的混合——但關鍵在於，它將混合矩陣約束為雙隨機矩陣（透過 Sinkhorn-Knopp 投影到 Birkhoff 多面體上），這在數學上保證了訊號幅度在任意深度下都能保持不變。
- 這解決了困擾無約束 Hyper-Connections（最初由 ByteDance 發明）的災難性不穩定性問題，即在 27B 規模下，訊號放大爆炸到 3000 倍，導致訓練完全崩潰。
- 計算成本極低：mHC 僅增加 6.7% 的掛牆訓練時間開銷，因為它不改變注意力或 FFN 層的 FLOPs，只改變它們的輸出在層之間的路由方式。
- 然而，效能提升是巨大的：在 27B 參數下，mHC 在 BIG-Bench Hard 推理上提升了 +7.2 分，在 DROP 上提升了 +3.2 分，在 GSM8K 數學上提升了 +2.8 分，在 MMLU 通用知識上提升了 +1.4 分，所有這些都是在相同模型大小和幾乎相同的計算預算下實現的。
- 本質上，mHC 透過為網路提供一個更豐富、更具表現力的拓撲結構來跨層路由資訊，從而實現了每個參數具有更高的智慧，同時幾乎不增加額外的 FLOPs。
- CSA, HSA（於 2026 年 4 月的 DeepSeek V4 中引入）透過壓縮 KV Token 將 KV 需求再減少 90%，並大幅減少所需的 FLOPs，從而減輕 HBM 和 GPU/ASIC 的壓力。
- Engram 於 2026 年第一季引入，他們在某種程度上用記憶體（LPDDR 記憶體）交換計算。如下面的詳細圖表所示，在相同的總參數預算下，Engram 帶來的效能提升。
- 極度專注於計算與通訊的重疊，以及像 Dual Path 這樣的創新，可以理解為應對資源限制的方法。但 DeepSeek 更進一步，為硬體供應商提供 ASIC 設計建議，以確保他們不浪費寶貴的晶片資源。這是來自 DeepSeek V4 論文 的內容。
- 對 TileLang 的投資指向一個一致的方向：他們不僅在處理自己的運算困境，更是在讓中國的硬體生態系能與西方生態系競爭。透過 Tilelang，可以開發一次 kernel（計算程式碼），並使其在支援 TileLang 後端的多種硬體平台上成功運行。我預期所有其他中國實驗室都會加入——幫助中國硬體製造商間接應對「CUDA 護城河」。這也將解鎖更多像 AMD 這樣的西方硬體。
注意：中國許多 AI 平台要么提供 CUDA 相容性，要么提供 CUDA 翻譯層：摩爾執行緒、MetaX、壁仞科技和 CoreX 是透過翻譯層實現最高 CUDA 相容性的中國晶片。他們（理論上）不需要 TileLang。
大規模 RL 和 RSI：
憑藉更多的運算能力（由於更多潛在的硬體選項）以及計算需求的減少，DeepSeek 可以承擔更宏大的訓練項目；特別是 RL 後訓練。RL 涉及生成大量的軌跡——生成數兆個 Token。這很快就會變得非常昂貴。此外，要訓練 100 萬上下文的模型，你需要生成那麼長的軌跡。針對如此長的軌跡訓練模型，才能實現長程任務。
此外，由於選項增加，DeepSeek 可用的硬體更多，這將實現自動化研究（RSI）。RSI 涉及 AI 本身設計和執行實驗。這種方法有大量的嘗試和錯誤，並且可能很快變得成本高昂。然而，RSI 對於探索整個設計空間至關重要。DeepSeek 需要在達到 AGI 進而達到 ASI 之前，具備 RSI 能力。
DeepSeek 今天所做的，就是業界明天將要做的：
DeepSeek 在混合專家模型、MLA、DSA 方面的創新已經被全球和中國的其他 AI 實驗室採用。
例如，GLM 系列模型的製造商 ZAI 使用了 MLA 和 DSA。Kimi（Moonshot）已經採用了 MLA，並且毫不猶豫地表示他們的架構是基於 DeepSeek 的架構。作為回報，DeepSeek 使用了首先由 Kimi（Moonshot）在大規模訓練中使用的 Muon 最佳化器。
（注意：
- MoE 是由 Google 於 2017 年由 Noam Shazeer 作為主要作者 發明的。DeepSeek 將其大規模應用並發明了他們自己的技巧。
- Muon（MomentUm Orthogonalized by Newton-Schulz）最佳化器是由機器學習研究員 Keller Jordan 在 2024 年底創建的。Kimi（Moonshot）團隊是第一個將其大規模使用的團隊。）
那麼賺錢呢？：
讓我們研究一個有趣的 OpenAI 例子。OpenAI 根據消費里程碑，獲得了以低價購買 AMD 和 Cerebras 股票的認股權證/期權。這對 AMD 和 Cerebras 來說是一筆很好的交易。OpenAI 對它們的承諾，使得它們長期成功的可能性更大。
引用 AMD 公告："根據協議條款，為了進一步調整戰略利益，AMD 已向 OpenAI 發行了最多 1.6 億股 AMD 普通股的認股權證，其結構設定為在達成特定里程碑時歸屬。第一批在首次 1 吉瓦部署時歸屬，隨著採購量擴大到 6 吉瓦，後續批次將歸屬。歸屬進一步與 AMD 達到某些股價目標以及 OpenAI 達到實現 AMD 大規模部署所需的技術和商業里程碑掛鉤。"
我預測 DeepSeek 將與多家中國記憶體、ASIC、CPU 和網路堆疊製造商簽訂此類協議，並與他們密切合作，使其硬體堆疊能夠勝任領先的 AI 工作負載。
考慮到所有西方（包括東亞盟國）AI 股票的總估值遠超過 10 兆美元。這種——授予股權的合作——方式允許 DeepSeek 幫助在中國創造同樣巨大的產業，同時分一杯羹，為自己實現 1 兆美元的估值。
這將使他們能夠賺更多的錢，同時實現他們所說的「讓人人擁有 AGI」的目標。梁文鋒——吉姆·西蒙斯的忠實粉絲——是一個非常精明的資本家，他不會錯過這個機會！
如果你審視 DeepSeek 迄今為止所做的一切，這是唯一說得通的事情……
關於這些創新的詳細部落格將於本週末發布，如果有興趣，請關注我的 Substack： https://polymath707.substack.com/ …
