你是否曾好奇，DeepSeek 如何赚钱，并且能赚很多钱？
他们没有像 GLM、MoonShot 和 MiniMax 那样推出有竞争力的编程方案。他们没有多模态、音频、视频模型。至今他们也没有一个完善的测试平台（他们最近才开始招聘相关人才）？DeepSeek 还承诺长期开源，并且非常乐意分享他们的秘诀。这是疯狂吗？这是纯粹在浪费钱吗？那些即将向 DeepSeek 投资 100 亿美元的投资者，是在把钱扔进下水道吗？
不——恰恰相反，在我看来！！！
在此，我提出一些关于他们迄今为止所做之事的观察，以及他们似乎正在遵循的策略。梁文锋（DeepSeek CEO）的目光似乎投向了更大的目标，他们可能实现 1 万亿美元的估值，同时帮助创造一个 10 万亿美元的产业！
重温 DeepSeek 的英雄之旅
DeepSeek 一直逆流而行，没有选择逐步构建更好的模型并尝试销售即时应用（例如编程方案）。我在 2025 年 1 月 27 日发布了一条关于我所看到的 DeepSeek 英雄之旅 的爆款推文。这个故事变得越来越有趣了。
- 当人们试图构建密集模型时，DeepSeek 却选择了难以训练的混合专家模型（MoE）。
- 他们从“第一性原理”出发，发明了新算法 GRPO，以取代实施成本更高的主流强化学习（RL）算法 PPO。
- 他们发现基于验证奖励的强化学习（RLVR）是提升模型推理能力的关键策略。
- 他们通过“多 Token 预测”提出了一种简单的投机性解码策略，同时也增强了训练信号。
- 他们完善了“零气泡”流水线，以提升有限 GPU 资源的利用率。
- 他们发布了专家负载均衡器，使每个人都能轻松部署混合专家模型。特别是采用“宽专家并行”策略，可以支持大批次处理，从而更经济地提供服务。
- 他们发明了 MLA、DSA、CSA、HCA 来减少 KV 缓存需求，并使计算需求在上下文增长时保持近乎恒定。
- 他们发明了 Engram，用内存来换取计算能力。
- 他们发明了 mHC，以在模型规模增长时实现稳定训练。这样的例子还在继续……
在英雄之旅的故事结构（最普遍的结构）中，英雄从不决定自己的旅程会是什么。他一路学习，为自己找到伟大的使命，并克服重重困难完成它。他遇到许多诋毁者，但他无视他们。他遇到许多心怀不轨的人。他有巨大的缺陷或不足——但他克服了这些，完成了使命。他面对看似无法逾越的挑战，但找到了结盟的方法，并学会了如何明智地使用宝贵资源。这正是让观众为英雄加油的原因。这也为 DeepSeek 赢得了粉丝追随、全球尊重，以及诋毁者。
正如我将详细展示的，DeepSeek 在这条旅程上已经走了足够久，并发现了最终的命运：不是销售编程方案，而是赋能一个 10 万亿美元的中国 AI 硬件生态系统，并为自己实现 1 万亿美元的估值。在此过程中，他们也将为西方硬件生态系统带来许多新的参与者。
欢迎评论和批评：@naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang
先从 KV 缓存计算的一些趣事开始：
阅读来自 @SemiAnalysis_ 的这条及时推文：
我们先来做一些有趣的 KV 缓存数学计算。如果你不喜欢数学，别担心。我们将使用最近发布的 KV 缓存计算器，看看 DeepSeek V4 Pro 实现的 KV 缓存节省，并与最新的 GLM 和 Qwen 模型进行比较。
我计算了 1M 上下文。我假设 8 位 KV 精度和 16 位索引器精度。你可以自己试试这个计算器。
https://kvcache.ai/tools/kv-cache-calculator/
对于 1M 上下文：
- DeepSeek V4 仅需 5.48GB HBM
- GLM5 需要 60GB HBM
- Qwen3-235B-A22B 需要高达 89GB
请注意：
- DeepSeek 是 1.6T 参数模型，
- GLM5 大约 700B 参数，它已经使用了 DeepSeek 的 MLA 和 DSA；尽管没有最新的压缩注意力机制
- Qwen3-235B-A22B 大约 235B，使用 GQA 注意力机制
DeepSeek 为缓解内存压力做出了基础性贡献。如果这项创新被广泛采用，可以使长周期 Agent 变得非常经济，并解锁下一批用例。
疯狂背后的方法：
这种小尺寸的 KV 缓存——在不牺牲质量的前提下——是他们能够以如此荒谬的低价提供长时间缓存的原因——价格不到 Sonnet 4.6 缓存命中价格的 3%——并且他们可以保持缓存数小时。
对于长周期任务，小量缓存使得卸载到 SSD 并重新加载变得非常经济高效。这减少了对 HBM 的需求，而 HBM 正是中国 AI 硬件行业视角中供应短缺且最难制造的内存。DeepSeek 还开发了从 SSD 更快加载 KV 缓存的技术，如双路径论文所述。
谁是 KV 缓存压缩的直接受益者？
谁大量供应 SSD？记住，YMTC 正在崛起为 3D NAND 巨头。NAND 使 DeepSeek 能够避免重新计算 KV。反过来，DeepSeek 为 NAND 和 SSD 创造了一个巨大的市场——不仅仅是 YMTC 的，也包括其他所有厂商的。
然而，这不仅仅是关于 NAND 和 SSD：
LPDDR 内存有巨大潜力成为存放权重的地方，并根据需要将权重流式传输到 HBM，从而减少对 HBM 的需求。SGLang 团队发表了一篇关于此的精彩博客。 我下面用图表来解释这个方案的工作原理。
虽然 DeepSeek 没有为此做任何特别的事情——但他们拥有大量专家的 MoE 架构和 4 位权重，使得实现这个方案变得容易。
这项创新结合超紧凑的 KV 缓存（无损），显著降低了对 HBM 的需求。
谁在中国制造 LPDDR？CXMT。他们在 LPDDR 速度上仅落后 0.5 代，在密度上落后 1 代。差距不大！此外，凭借丰富的 NAND，中国生态系统在不久的将来将拥有丰富的 LPDDR。这能缓解计算压力吗？是的。继续往下看……
智能使用内存也能减轻 GPU/ASIC 的压力
很明显，使用 NAND 进行 KV 缓存可以更长时间地保存 KV 缓存，减少对 HBM 的压力，并有助于避免重新计算 KV 缓存，从而减轻 GPU 和 ASIC 的计算压力。LPDDR 是否也能以类似的方式提供帮助，同时作为可以“即时”流式传输权重的存储位置？答案是肯定的。
LPDDR 支持保存大量所谓的“Engram”。在他们的 Engram 论文中，DeepSeek 表明，虽然 MoE 通过条件计算扩展容量，但 Transformer 缺乏用于知识查找的原生原语。它们被迫通过计算来低效地模拟检索。他们引入了 Engram，这是一个将经典的 N-gram 嵌入现代化为 O(1) 哈希查找的模块，创建了一个他们称之为条件内存的互补稀疏轴。这节省了计算量，但需要内存来容纳可能很大的嵌入表。这是一个经典的内存-计算权衡，但关键在于“内存”端每比特检索的成本要低得多（LPDDR 查找 vs. 通过 Transformer 层的完整前向传播），使其在大规模应用中成为一个非常有利的权衡。这就是他们通过交换内存来节省计算的方式！！！
值得做出的权衡：由于没有相同的每芯片晶体管密度（没有 EUV），中国的 GPU 和 ASIC 在原始 FLOPs 上将永远落后于西方 GPU。他们在封装方面也相当落后。因此，这样的权衡是非常值得的，特别是如果你能制造丰富的 NAND 和 LPDDR 内存。
重述 DeepSeek 的长期博弈：
从所有这些创新来看，DeepSeek 的博弈似乎不是追求几亿美元的即时利润（考虑到他们所做的所有选择——还没有多模态，没有语音模型，视频——那是什么？）——但他们正在玩一个耐心的 10 万亿美元游戏，以赋能替代硬件生态系统。
这不仅仅是让中国内存厂商成为中国和全球 AI 硬件领域的关键参与者，也是减少资源需求本身，以便能够经济高效地训练和服务 AI 模型——这将使许多 GPU/ASIC 制造商以及网络芯片制造商成为可行的选择。所有这些创新也将帮助西方开源生态系统以及新的硬件制造商。
所有迹象都在那里。让我们详细重述他们提出的所有创新：
- 在 DeepSeek V2 中引入的混合专家模型（MoE）和 MLA。MoE 使得以低于 40% 到 50% 的计算量训练非常智能的模型成为可能。MLA 使得 KV 缓存减少 90%。这使得将 KV 缓存卸载到 SSD 变得非常高效。这些想法是在他们 2024 年 5 月的论文 DeepSeek V2 中提出的。后来，它解锁了 DeepSeek V3 的训练，该模型在当时几乎是闭源的，仅使用 2048 块被阉割的 H800 GPU。
- DSA（在 DeepSeek V3.2 Exp 中引入）用于减少长上下文场景的计算量，并缓解 HBM 带宽压力。它确保计算量不会随着上下文增长而增长。请参见下面的图表——DeepSeek-v3.2 的处理时间随上下文保持平稳。
- mHC 于 2025 年 12 月在论文 mHC: Manifold-Constrained Hyper-Connections 中引入。mHC 是 DeepSeek 的一项宏观架构创新，它重新发明了信息在 Transformer 层之间的流动方式。不同于自 ResNet 以来使用的标准残差连接（x + F(x)），mHC 将残差流扩展为多条并行的信息高速公路，并允许它们之间的学习混合——但关键是将混合矩阵约束为双随机矩阵（通过 Sinkhorn-Knopp 投影到 Birkhoff 多面体上），这在数学上保证了信号幅度在任意深度下得以保持。
- 这解决了困扰无约束 Hyper-Connections（最初由 ByteDance 发明）的灾难性不稳定性问题，在 27B 规模下信号放大爆炸到 3000 倍，导致训练完全崩溃。
- 计算成本极低：mHC 仅增加 6.7% 的挂钟训练开销，因为它不改变注意力或 FFN 层的 FLOPs，只改变其输出在层间的路由方式。
- 然而，性能提升是显著的：在 27B 参数下，mHC 在 BIG-Bench Hard 推理上提升 +7.2 分，在 DROP 上提升 +3.2，在 GSM8K 数学上提升 +2.8，在 MMLU 通用知识上提升 +1.4，所有这些都在相同的模型大小和几乎相同的计算预算下实现。
本质上，mHC 通过为网络提供更丰富、更具表现力的拓扑结构来跨层路由信息，从而在每参数上实现更高的智能，同时几乎不增加额外的 FLOPs。
- CSA、HSA（在 2026 年 4 月的 DeepSeek V4 中引入）通过压缩 KV Token 将 KV 需求再减少 90%，并大幅减少所需的 FLOPs，从而缓解 HBM 和 GPU/ASIC 的压力。
- Engram 于 2026 年第一季度引入，他们用内存（LPDDR 内存）来换取计算（在某种程度上）。如下详细图表所示，在相同总参数预算下，Engram 带来的性能提升。
- 极度关注计算和通信重叠，以及像 Dual Path 这样的创新，可以解释为对资源限制的变通。但 DeepSeek 更进一步，就 ASIC 设计向硬件供应商提供建议，以确保他们不浪费宝贵的硅资源。这来自 DeepSeek V4 论文。
- 对 TileLang 的投资指向一个一致的方向：他们不仅是在应对自己的计算短缺，还在使中国硬件生态系统与西方生态系统竞争。使用 TileLang，可以一次开发内核（计算代码），并在多个支持 TileLang 后端的硬件平台上成功运行。我预计所有其他中国实验室都将加入——帮助中国硬件制造商间接应对“CUDA 护城河”。这也解锁了更多西方硬件，如 AMD。
注意：中国许多 AI 平台要么提供 CUDA 兼容性，要么提供 CUDA 转换层：摩尔线程、MetaX、壁仞科技、以及天数智芯是通过转换层最兼容 CUDA 的中国芯片。它们（理论上）不需要 TileLang。
大规模 RL 和 RSI：
随着更多计算资源的获取（由于更多潜在的硬件选项）和计算需求的减少，DeepSeek 可以承担更雄心勃勃的训练项目；特别是 RL 后训练。RL 涉及生成大量轨迹——生成数万亿个 Token。这很快就会变得非常昂贵。此外，要训练 1M 上下文模型，你需要生成长度如此之长的轨迹。训练模型处理如此长的轨迹，使得长周期任务成为可能。
此外，由于更多选项带来的更多硬件可用性，将使 DeepSeek 能够实现自动化研究（RSI）。RSI 涉及 AI 自身设计和执行实验。这种方法有大量的试错，并且可能很快变得昂贵。然而，RSI 对于探索整个设计空间至关重要。DeepSeek 需要在达到 AGI 进而达到 ASI 之前具备 RSI 能力。
DeepSeek 今天所做的，是行业明天将做的：
DeepSeek 在混合专家模型、MLA、DSA 方面的创新已被世界各地的其他 AI 实验室以及中国实验室采纳。
例如，ZAI——GLM 系列模型的制造商——使用了 MLA 和 DSA。Kimi（Moonshot）已采用 MLA，并毫不避讳地表示他们的架构基于 DeepSeek 的架构。作为回报，DeepSeek 使用了 Muon 优化器，该优化器首先由 Kimi（Moonshot）用于大规模训练。
（注意：
- MoE 由 Google 在 2017 年发明，Naom Shazeer 是主要作者。DeepSeek 将其大规模应用并发明了自己的技巧。
- Muon（通过 Newton-Schulz 正交化的动量）优化器由机器学习研究员 Keller Jordan 于 2024 年底创建。Kimi（Moonshot）团队是第一个大规模使用它的团队。）
那么赚钱呢？
让我们研究一下 OpenAI 的有趣例子。OpenAI 根据消费里程碑，以低价获得了购买 AMD 和 Cerebras 股票的认股权证/期权。这对 AMD 和 Cerebras 来说是一笔好交易。OpenAI 对它们的承诺，使它们更有可能长期成功。
来自 AMD 公告的引用：“作为协议的一部分，为进一步协调战略利益，AMD 已向 OpenAI 发行了最多 1.6 亿股 AMD 普通股的认股权证，其行权条件与特定里程碑的达成挂钩。第一批次在初始 1 吉瓦部署时行权，后续批次随着采购规模扩大到 6 吉瓦而行权。行权还进一步与 AMD 达到某些股价目标以及 OpenAI 达到实现 AMD 大规模部署所需的技术和商业里程碑挂钩。”
我预测 DeepSeek 将与多家中国内存、ASIC、CPU 和网络堆栈制造商达成此类协议，并与他们密切合作，使他们的硬件堆栈能够承载领先的 AI 工作负载。
鉴于所有西方（包括东亚盟友）AI 股票的总估值远超 10 万亿美元。这种以股权奖励合作的模式，使 DeepSeek 能够帮助在中国创造同样庞大的产业，并分得一杯羹，同时为自己实现 1 万亿美元的估值。
这将使他们能够赚取多得多的钱，同时实现他们所说的“人人享有 AGI”的目标。梁文锋——吉姆·西蒙斯的忠实粉丝——是一位非常精明的资本家，不会错过这个机会！
如果你看看 DeepSeek 迄今为止所做的一切，这是唯一说得通的事情……
关于这些创新的详细博客将于本周末发布，如果感兴趣，请关注我的 Substack https://polymath707.substack.com/……
