DeepSeek はどうやって収益を上げ、しかも莫大な利益を生み出すのか、考えたことはありますか？
彼らは GLM、MoonShot、MiniMax のような競争力のあるコーディングプランを打ち出していません。マルチモーダルモデル、音声モデル、動画モデルも持っていません。今に至るまでハーネス（最近ようやくハーネス構築のための採用を始めたばかり）もありません。DeepSeek は長期的にオープンソースであることを約束しており、自社の秘伝のタレを喜んで共有しています。これは狂気の沙汰でしょうか？単なる金の無駄遣いでしょうか？彼らに 100 億米ドルを投資しようとしている投資家は、ドブに金を捨てているのでしょうか？
いいえ、まったく逆だと私は思います！
ここで、私がこれまでの彼らの行動と、彼らが従っていると思われる戦略についての観察を紹介します。梁文鋒（DeepSeek CEO）の目ははるかに大きな賞品に向けられているように見え、彼らは 1 兆米ドルの評価額を達成し、さらに 10 兆米ドルの産業を創出するのに貢献できるでしょう！
DeepSeek の英雄の旅を再考する
DeepSeek は常に、モデルを段階的に改良し、コーディングプランなどの即時的なアプリケーションを販売しようとする風潮に逆らってきました。私は 2025 年 1 月 27 日に、私が考える DeepSeek の英雄の旅 についてのバイラルツイートを投稿しました。この物語はますます面白くなっています。
- 人々が高密度モデルの構築を試みていたとき、DeepSeek は訓練が難しい Mixture of Expert（MoE）モデルに取り組みました。
- 彼らは「第一原理」アプローチから取り組み、実装によりコストがかかる強化学習（RL）のための支配的な PPO アルゴリズムを置き換える、新しいアルゴリズム GRPO を発明しました。
- 彼らは、モデルの推論能力を向上させるための重要な戦略として、検証報酬からの強化学習（RLVR）を考案しました。
- 彼らは「マルチトークン予測」による投機的デコードのためのシンプルな戦略を考案し、これにより訓練信号も高密度化しました。
- 彼らは限られた GPU リソースの使用率を向上させるために「ゼロバブル」パイプラインを完成させました。
- 彼らは、誰でも簡単に Mixture of Expert モデルをデプロイできるようにする Expert Load Balancer を公開しました。特に「Wide Expert Parallel」戦略により、大規模なバッチを処理できるため、モデルをより経済的に提供できます。
- 彼らは MLA、DSA、CSA、HCA を発明し、KV キャッシュの必要性を減らし、増大するコンテキストに対する計算需要をほぼ一定に保ちました。
- 彼らは Engram を発明し、メモリと計算をトレードオフしました。
- 彼らは mHC を発明し、モデルサイズが大きくなるにつれて安定した訓練を実現しました。そして、そのリストは続きます...
英雄の旅の物語構造（最も普遍的なもの）では、英雄は自分の旅がどうなるかを決して決めません。彼は道すがら学び、自分自身の偉大な使命を見つけ出し、あらゆる困難に打ち勝ってそれを成し遂げます。彼は多くの批判者に出会いますが、それらを無視します。彼は多くの悪意ある関係者に出会います。彼には大きな欠点や弱点がありますが、それらを克服して使命を達成します。彼は克服不可能と思われる課題に直面しますが、どのように同盟を築き、貴重なリソースを賢く使うかを考え出します。これこそが、観客が英雄を応援したくなる理由です。これこそが、DeepSeek がファンを獲得し、世界的な尊敬と批判者も獲得している理由です。
これから詳しく説明するように、DeepSeek はこの旅を十分に長い間続けており、最終的な運命を発見しました。それはコーディングプランを売ることではなく、10 兆米ドルの中国 AI ハードウェアエコシステムを可能にし、自ら 1 兆米ドルの評価額を達成することです。そうすることで、彼らは西側のハードウェアエコシステムにも多くの新規参入者を可能にするでしょう。
コメントや批判は歓迎します：@naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang
KV キャッシュ計算で少し遊んでみる：
@SemiAnalysis_ からのこのタイムリーなツイートを読んでください：
まずは楽しい KV キャッシュの計算をしてみましょう。数学が苦手でも心配しないでください。最近リリースされた KV キャッシュ計算機を使って、DeepSeek V4 Pro が可能にする KV キャッシュの節約量を確認し、最新の GLM および Qwen モデルと比較します。
1M コンテキストで計算します。8 ビットの KV 精度と 16 ビットのインデクサー精度を想定します。計算機で遊んでみてください。
https://kvcache.ai/tools/kv-cache-calculator/
1M コンテキストの場合
- DeepSeek V4 はわずか 5.48GB の HBM しか必要としません
- GLM5 は 60GB の HBM が必要です
- Qwen3-235B-A22B はなんと 89GB も必要です
ただし
- DeepSeek は 1.6T パラメータモデルです
- GLM5 は約 700B パラメータで、すでに DeepSeek の MLA と DSA を使用していますが、最新の圧縮アテンションは使用していません
- Qwen3-235B-A22B は約 235B で、GQA アテンションを使用しています
DeepSeek はメモリへの負担を軽減するための基礎的な貢献をしました。この革新が広く採用されれば、長期的なエージェントを非常に経済的にし、次の一連のユースケースを解放することができます。
狂気の裏にある方法：
品質を損なうことなく、この小さな KV キャッシュサイズこそが、彼らが長期保持キャッシュを驚くほど低い価格（Sonnet 4.6 のキャッシュヒット価格の 3% 未満）で提供し、それを複数時間保持できる理由です。
長期タスクのための少量のキャッシュは、SSD へのオフロードと非常にコスト効率の高いリロードを可能にします。これにより、供給が不足しており、中国の AI ハードウェア産業の観点から最も製造が難しいメモリである HBM の必要性が減ります。DeepSeek は、Dual Path ペーパー で説明されているように、SSD から KV キャッシュをより速くロードする技術も開発しました。
KV キャッシュ圧縮の直接的な受益者は誰か？：
誰が SSD を大量に供給するのでしょうか？YMTC が 3D NAND の巨人として台頭していることを思い出してください。NAND により、DeepSeek は KV の再計算を回避できます。その結果、DeepSeek は YMTC だけでなく、他のすべてのメーカーの NAND および SSD の大規模な市場を創出します。
しかし、NAND と SSD だけではありません：
LPDDR メモリは、重みを保持し、必要に応じて HBM にストリーミングする場所として大きな可能性を秘めており、HBM 需要への圧力を軽減します。SGLang チームはこれに関する素晴らしいブログを公開しています。 以下に、このスキームの仕組みを説明する図を示します。
DeepSeek がこれのために特別に何かをしたわけではありませんが、多数のエキスパートと 4 ビットの重みを備えた彼らの MoE アーキテクチャは、このスキームの実装を容易にします。
この革新と超コンパクトな KV キャッシュ（ロスレス）を組み合わせることで、HBM 需要が大幅に削減されます。
中国で LPDDR を製造しているのはどこですか？CXMT です。彼らは LPDDR の速度でわずか 0.5 世代遅れており、密度では 1 世代遅れています。それほど遠くありません！さらに、豊富な NAND に加えて、中国のエコシステムは近い将来、豊富な LPDDR を手に入れるでしょう。これにより、計算への圧力が軽減されるでしょうか？はい。続きを読んでください...
メモリのスマートな使用は GPU/ASIC への圧力も軽減します
KV キャッシュに NAND を使用すると、KV キャッシュをより長く保持でき、HBM への圧力が軽減され、KV キャッシュの再計算を回避できるため、GPU および ASIC への計算負荷が軽減されることは明らかです。LPDDR も、重みを「ジャストインタイム方式」でストリーミングできる場所であることに加えて、同様の方法で役立つでしょうか？答えはイエスです。
LPDDR は、「Engram」として知られる大量のデータを保持することをサポートしています。Engram ペーパー で、DeepSeek は、MoE が条件付き計算によって容量を拡張する一方で、Transformer には知識検索のためのネイティブプリミティブが欠けていることを示しました。彼らは、検索を介して計算を非効率的にシミュレートすることを強いられています。彼らは Engram を導入しました。これは、古典的な N-gram 埋め込みを O(1) ハッシュベースのルックアップに近代化し、条件付きメモリと呼ぶ補完的なスパース性軸を作成するモジュールです。これにより計算が節約されますが、サイズが大きくなる可能性がある埋め込みテーブルをホストするためのメモリが必要です。これは古典的なメモリ計算の代替ですが、「メモリ」側がビットあたりの取得コスト（LPDDR ルックアップと Transformer 層を通る完全なフォワードパス）で劇的に安価であるという洞察があり、スケールでは非常に有利なトレードオフになります。これが、メモリをトレードオフすることで計算を節約する方法です！
価値のあるトレードオフ：
中国の GPU および ASIC は、チップレットあたりのトランジスタ密度が同じではないため（EUV なし）、生の FLOPs において西側の GPU に永久に遅れをとるでしょう。パッケージングでもかなり遅れています。したがって、特に豊富な NAND と LPDDR メモリを製造できるのであれば、このようなトレードオフは十分に価値があります。
DeepSeek の長期戦略を再考する：
これらすべての革新から、DeepSeek のゲームは、彼らが行ってきたすべての選択（まだマルチモダリティなし、音声モデルなし、動画モデルなし）を考えると、数億の即時的な利益ではないように見えますが、彼らは代替ハードウェアエコシステムを可能にするために、忍耐強い 10 兆米ドルのゲームをプレイしています。
それは、中国のメモリプレーヤーを中国および世界の AI ハードウェアアリーナの主要プレーヤーにすることだけでなく、リソース需要自体を削減し、AI モデルをコスト効率よく訓練および提供できるようにすることです。これにより、多くの GPU/ASIC メーカーやネットワーキングチップメーカーが実行可能なオプションになるため、それらも可能になります。これらすべての革新は、西側のオープンソースエコシステムと新しいハードウェアメーカーにも役立つでしょう。
すべての兆候はそこにあります。彼らが考案したすべての革新を詳細に再確認しましょう：
- DeepSeek V2 で導入された Mixture of Expert（MoE）と MLA。MoE により、40 ～ 50% 少ない計算で非常にインテリジェントなモデルを訓練することが可能になりました。MLA により、KV キャッシュを 90% 削減することが可能になりました。これにより、KV キャッシュの SSD へのオフロードが非常に効率的になりました。これらのアイデアは、2024 年 5 月のペーパー DeepSeek V2 で導入されました。その後、当時はわずか 2048 の性能制限された H800 GPU でほぼクローズドソースであった DeepSeek V3 の訓練を可能にしました。
- DSA（DeepSeek V3.2 Exp で導入）は、長いコンテキストシナリオの計算を削減し、HBM 帯域幅への圧力を軽減します。これにより、コンテキストが増大しても計算が増大しないことが保証されます。以下のチャートを参照してください。DeepSeek-v3.2 の処理時間はコンテキストに関係なく一定です。
- mHC は 2025 年 12 月のペーパー mHC: Manifold-Constrained Hyper-Connections で導入されました。mHC は DeepSeek によるマクロアーキテクチャの革新であり、Transformer 層間の情報の流れ方を再発明します。ResNet 以来使用されてきた標準的な残差接続（x + F(x)）の代わりに、mHC は残差ストリームを複数の並列情報ハイウェイに拡張し、それらの間の学習された混合を可能にします。しかし、重要なのは、混合行列を二重確率（Birkhoff 多面体への Sinkhorn-Knopp 射影による）に制約することであり、これにより信号の大きさが任意の深さで保存されることが数学的に保証されます。
- これにより、ByteDance で最初に発明された制約のない Hyper-Connections を悩ませた壊滅的な不安定性が解決されます。ByteDance のものでは、27B スケールで信号増幅が 3000 倍に爆発し、訓練が完全に崩壊しました。
- 計算コストは最小限です。mHC はアテンションや FFN 層の FLOPs を変更せず、それらの出力が層間でどのようにルーティングされるかのみを変更するため、ウォールクロックトレーニングのオーバーヘッドはわずか 6.7% です。
- ただし、パフォーマンスの向上は顕著です。27B パラメータで、mHC は BIG-Bench Hard 推論で +7.2 ポイント、DROP で +3.2、GSM8K 数学で +2.8、MMLU 一般知識で +1.4 を、同じモデルサイズとほぼ同じ計算予算で達成します。
本質的に、mHC は、層間で情報をルーティングするためのより豊かで表現力豊かなトポロジーをネットワークに提供し、追加の FLOPs をほとんど支払うことなく、パラメータあたりのインテリジェンスを有意義に高めます。
- CSA、HSA（2026 年 4 月の DeepSeek V4 で導入）は、KV トークンを圧縮することで KV の必要性をさらに 90% 削減し、必要な FLOPs を大幅に削減して HBM と GPU/ASIC の両方への圧力を軽減します。
- Engram は 2026 年第 1 四半期に導入され、メモリ（LPDDR メモリ）を計算と（ある意味で）トレードオフします。以下の詳細なチャートが示すように、同じ全体パラメータ予算での Engram によるパフォーマンス向上を示しています。
- 計算と通信のオーバーラップへの極端な焦点、および Dual Path のような革新は、リソース制約への回避策として説明できます。しかし、DeepSeek はさらに進んで、ハードウェアベンダーに ASIC 設計に関するアドバイスを提供し、貴重なシリコンリソースを無駄にしないようにしています。これは DeepSeek V4 ペーパー からのものです。
- TileLang への投資は、彼らが自社の計算不足に対処しているだけでなく、中国のハードウェアエコシステムを西側のエコシステムと競争力のあるものにしているという一貫した方向性を示しています。TileLang を使用すると、カーネル（計算のためのコード）を一度開発し、TileLang バックエンドが利用可能な複数のハードウェアプラットフォームで正常に実行することが可能です。他の中国のラボもこれに参加し、中国のハードウェアメーカーが間接的に「CUDA の堀」に対処するのを支援することを期待しています。これにより、AMD のようなより多くの西側ハードウェアも解放されます。
注：中国の多くの AI プラットフォームは、CUDA 互換性または CUDA 変換レイヤーを提供しています。Moore Threads、MetaX、Biren、Iluvatar CoreX は、変換レイヤーを介して最も CUDA 互換性のある中国のチップです。それらは（理論的には）TileLang を必要としません。
大規模 RL と RSI：
より多くの計算（より多くの潜在的なハードウェアオプションによる）と計算需要の削減により、DeepSeek ははるかに野心的なトレーニングプロジェクト、特に RL ポストトレーニングに取り組むことができます。RL には、多数の軌跡を生成すること、つまり数兆のトークンを生成することが含まれます。これはすぐに高額になる可能性があります。さらに、1M コンテキストモデルをトレーニングするには、その長さの軌跡を生成する必要があります。このような長い軌跡でモデルをトレーニングすることで、長期的なタスクが可能になります。
さらに、オプションの増加により DeepSeek でより多くのハードウェアが利用可能になることで、自動研究（RSI）が可能になります。RSI には、AI 自身が実験を設計および実行することが含まれます。このアプローチには多数の試行錯誤が含まれ、すぐにコストがかかる可能性があります。ただし、RSI は設計空間全体を探索するために重要です。DeepSeek は、AGI に到達し、その後 ASI に到達する前に、RSI 対応になる必要があります。
DeepSeek が今日行うことは、業界の他の企業が明日行うこと：
DeepSeek の Mixture of Expert、MLA、DSA に関する革新は、世界中および中国の他の AI ラボによって採用されています。
例えば、GLM ファミリーのモデルメーカーである ZAI は、MLA と DSA を使用しています。Kimi（Moonshot）は MLA を採用しており、そのアーキテクチャが DeepSeek のアーキテクチャに基づいていることを躊躇なく認めています。その見返りとして、DeepSeek は Kimi（Moonshot）が大規模トレーニングで最初に使用した Muon オプティマイザーを使用しています。
（注：
- MoE は、Naom Shazeer を主要著者とする Google によって 2017 年に発明されました。DeepSeek はそれを大規模に適用し、独自の工夫を発明しました。
- Muon（MomentUm Orthogonalized by Newton-Schulz）オプティマイザーは、2024 年後半に機械学習研究者の Keller Jordan によって作成されました。Kimi（Moonshot）チームが大規模に使用した最初のチームでした。）
お金を稼ぐことについては？：
OpenAI の興味深い例を調べてみましょう。OpenAI は、消費マイルストーンに基づいて、AMD と Cerebras の株式を低価格で購入するワラント/オプションを受け取りました。これは AMD と Cerebras にとって素晴らしい取引です。OpenAI が彼らにコミットしていることで、長期的に成功する可能性が高くなります。
AMD の発表からの引用：「契約の一環として、戦略的利益をさらに一致させるために、AMD は OpenAI に最大 1 億 6000 万株の AMD 普通株式のワラントを発行しました。これは特定のマイルストーンが達成されたときに権利が確定するように構成されています。最初のトランシェは最初の 1 ギガワットの展開で権利が確定し、購入が 6 ギガワットまで拡大するにつれて追加のトランシェの権利が確定します。権利確定はさらに、AMD が特定の株価目標を達成し、OpenAI が AMD の展開を大規模に可能にするために必要な技術的および商業的マイルストーンを達成することに結びついています。」
私は DeepSeek が、複数の中国のメモリ、ASIC、CPU、ネットワーキングスタックメーカーとこのような契約を結び、主要な AI ワークロードに対してハードウェアスタックを実行可能にするために緊密に協力すると予測します。
西側（東アジアの同盟国を含む）の AI 株の合計評価額は 10 兆米ドルをはるかに超えています。この株式を付与するコラボレーションアプローチにより、DeepSeek は中国で同様に大きな産業を創出し、自らの分け前を主張しながら、自ら 1 兆米ドルの評価額を達成することができます。
これにより、彼らははるかに多くの収益を上げると同時に、彼らの言葉を借りれば「すべての人のための AGI」という目標を達成することができます。Jim Simons の大ファンである梁文鋒は、これを見逃すほど愚かな資本家ではありません！
DeepSeek がこれまでに行ってきたすべてのことを見ると、これだけが理にかなっています...
これらの革新に関する詳細なブログは今週末に公開されます。興味があれば、私の Substack https://polymath707.substack.com/ をフォローしてください...
