DeepSeeks 10-Billionen-Dollar-Großstrategie

Haben Sie sich jemals gefragt, wie DeepSeek Geld verdienen könnte, und zwar eine ganze Menge?

Sie haben keine konkurrierenden Coding-Pläne wie GLM, MoonShot und MiniMax entwickelt. Sie haben keine multimodalen Modelle, keine Audio- oder Videomodelle. Bis heute haben sie kein Harness (sie haben erst kürzlich mit der Einstellung für den Bau eines Harness begonnen)? DeepSeek bekennt sich auch langfristig zu Open Source und teilt gerne ihre geheime Zutat. Ist das Wahnsinn? Ist das reine Geldverschwendung? Werfen Investoren, die kurz davor stehen, 10 Milliarden US-Dollar in sie zu stecken, ihr Geld in den Sand?

Nein – ganz im Gegenteil, meiner bescheidenen Meinung nach!!!

Hier präsentiere ich Beobachtungen darüber, was sie bisher getan haben, und eine Strategie, die sie zu verfolgen scheinen. Liang Wenfengs (DeepSeek CEO) Augen scheinen auf einen viel größeren Preis gerichtet zu sein, und sie könnten eine Bewertung von 1 Billion US-Dollar erreichen, während sie gleichzeitig dazu beitragen, eine Industrie mit 10 Billionen US-Dollar zu schaffen!

Die Heldenreise von DeepSeek – ein neuer Blick

DeepSeek ist immer gegen den Wind geschwommen, schrittweise bessere Modelle zu bauen und sofortige Anwendungen zu verkaufen – z. B. Coding-Pläne. Am 27. Januar 2025 schrieb ich diesen viralen Tweet über das, was ich als DeepSeeks Heldenreise betrachtete. Die Geschichte wird nur noch interessanter.

• Während andere versuchten, dichte Modelle zu bauen, setzte DeepSeek auf Mixture-of-Expert-Modelle (MoE), die schwer zu trainieren sind.
• Sie gingen von den "ersten Prinzipien" aus und erfanden den neuen Algorithmus GRPO, um den dominanten PPO-Algorithmus für Reinforcement Learning (RL) zu ersetzen, der teurer in der Implementierung war.
• Sie erkannten Reinforcement Learning from Verified Rewards (RLVR) als eine Schlüsselstrategie zur Verbesserung der Argumentationsfähigkeit von Modellen.
• Sie entwickelten eine einfache Strategie für spekulative Dekodierung durch "Multi Token Prediction", die auch das Trainingssignal verdichtete.
• Sie perfektionierten "Zero-Bubble"-Pipelines, um die Nutzung begrenzter GPU-Ressourcen zu verbessern.
• Sie veröffentlichten einen Expert Load Balancer, um die Bereitstellung von Mixture-of-Expert-Modellen für alle zu erleichtern. Insbesondere mit der "Wide Expert Parallel"-Strategie können Modelle viel wirtschaftlicher betrieben werden, da man große Batches haben kann.
• Sie erfanden MLA, DSA, CSA, HCA, um den KV-Cache-Bedarf zu reduzieren und den Rechenbedarf bei wachsendem Kontext nahezu konstant zu halten.
• Sie erfanden Engram, um Speicher gegen Rechenleistung zu tauschen.
• Sie erfanden mHC, um ein stabiles Training bei wachsender Modellgröße zu erreichen. Und die Liste geht weiter...

In der Struktur der Heldenreise (der universellsten) entscheidet der Held nie, wie seine Reise sein wird. Er lernt unterwegs, findet eine große Mission für sich und vollendet sie gegen alle Widerstände. Er trifft auf viele Kritiker, aber er ignoriert sie. Er trifft auf viele böswillige Akteure. Er hat einen großen Fehler oder eine Schwäche – aber er überwindet sie, um seine Mission zu erfüllen. Er steht vor Herausforderungen, die unüberwindbar scheinen, findet aber heraus, wie man Allianzen schmiedet und wie man kostbare Ressourcen weise einsetzt. Das bringt das Publikum dazu, den Helden anzufeuern. Das ist es, was DeepSeek ihre Fangemeinde und weltweite Anerkennung, aber auch Kritiker einbringt.

Wie ich Ihnen im Detail zeigen werde, ist DeepSeek schon lange genug auf dieser Reise und hat sein ultimatives Schicksal entdeckt: Es geht nicht darum, Coding-Pläne zu verkaufen, sondern ein chinesisches KI-Hardware-Ökosystem mit 10 Billionen US-Dollar zu ermöglichen und eine Bewertung von 1 Billion US-Dollar für sich selbst zu erreichen. Dabei werden sie auch vielen neuen Akteuren im westlichen Hardware-Ökosystem den Einstieg ermöglichen.

Kommentare und Kritik willkommen: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Erstmal etwas Spaß mit KV-Cache-Berechnungen:

Lesen Sie diesen aktuellen Tweet von @SemiAnalysis_ :

Lassen Sie uns zuerst etwas Spaß mit KV-Cache-Mathematik haben. Keine Sorge, wenn Sie Mathematik nicht mögen. Wir werden den kürzlich veröffentlichten KV-Cache-Rechner verwenden, um die durch DeepSeek V4 Pro möglichen KV-Cache-Einsparungen zu sehen und sie mit den neuesten GLM- und Qwen-Modellen zu vergleichen.

Ich rechne für 1M Kontext. Ich nehme 8-Bit-KV-Präzision und 16-Bit-Indexer-Präzision an. Sie können mit dem Rechner spielen.

https://kvcache.ai/tools/kv-cache-calculator/

Für 1M Kontext

1. DeepSeek V4 benötigt nur 5,48 GB HBM
2. GML5 benötigt 60 GB HBM
3. Qwen3-235B-A22B benötigt satte 89 GB

Wohlgemerkt

1. DeepSeek ist ein 1,6T-Parameter-Modell,
2. GLM5 hat rund 700B Parameter, es verwendet bereits DeepSeeks MLA und DSA; allerdings noch keine komprimierte Aufmerksamkeit
3. Qwen3-235B-A22B hat rund 235B und verwendet GQA-Attention

DeepSeek hat einen grundlegenden Beitrag zur Entlastung des Speichers geleistet. Wenn diese Innovation weit verbreitet wird, kann sie Langzeit-Agenten äußerst wirtschaftlich machen und die nächste Reihe von Anwendungsfällen erschließen.

Die Methode hinter dem Wahnsinn:

Diese geringe Größe des KV-Caches – ohne Einbußen bei der Qualität – ist der Grund, warum sie einen so lange gehaltenen Cache zu einem so lächerlich niedrigen Preis anbieten können – weniger als 3% des Preises von Cache Hits für Sonnet 4.6 – und sie halten ihn für mehrere Stunden.

Eine geringe Cache-Menge für Langzeitaufgaben ermöglicht das Auslagern auf SSDs und das sehr kosteneffiziente erneute Laden. Dies reduziert den Bedarf an HBM, der knapp und aus Sicht der chinesischen KI-Hardwareindustrie am schwierigsten herzustellen ist. DeepSeek hat auch Techniken entwickelt, um den KV-Cache schneller von der SSD zu laden, wie im Dual-Path-Papier beschrieben.

Wer profitiert unmittelbar von der KV-Cache-Komprimierung?:

Wer liefert SSDs in großen Mengen? Denken Sie daran, dass YMCT als 3D-NAND-Gigant aufsteigt. NAND ermöglicht es DeepSeek, die Neuberechnung von KVs zu vermeiden. Im Gegenzug schafft DeepSeek einen großen Markt für NAND und SSDs – nicht nur von YMTC, sondern auch von allen anderen.

Es geht jedoch nicht nur um NAND und SSD:

LPDDR-Speicher hat großes Potenzial, ein Ort zu sein, an dem Sie Gewichte halten und sie bei Bedarf in den HBM streamen können, wodurch der Druck auf die HBM-Nachfrage verringert wird. Das SGLang-Team hat einen großartigen Blog darüber veröffentlicht. Ich präsentiere unten ein Diagramm, um zu erklären, wie das Schema funktioniert.

Obwohl DeepSeek nichts speziell dafür getan hat – ihre MoE-Architektur mit einer großen Anzahl von Experten und 4-Bit-Gewichten macht es einfach, dieses Schema zu implementieren.

Diese Innovation in Kombination mit einem superkompakten KV-Cache (verlustfrei) reduziert den HBM-Bedarf erheblich.

Wer in China stellt LPDDR her? CXMT. Sie sind nur 0,5 Generationen in der Geschwindigkeit für LPDDR und 1 Generation in der Dichte zurück. Nicht sehr weit! Zusammen mit reichlich NAND wird das chinesische Ökosystem in naher Zukunft reichlich LPDDR haben. Kann dies den Druck auf die Rechenleistung verringern? JA. Weiterlesen...

Intelligente Speichernutzung reduziert auch den Druck auf GPUs/ASICs

Es ist ziemlich klar, dass die Verwendung von NAND für den KV-Cache es ermöglicht, den KV-Cache länger zu halten, den Druck auf HBM zu reduzieren und hilft, eine Neuberechnung des KV-Caches zu vermeiden, was den Rechendruck auf GPUs und ASICs verringert. Kann LPDDR ebenfalls in ähnlicher Weise helfen, zusätzlich ein Ort zu sein, von dem Gewichte "just in time" gestreamt werden können? Die Antwort ist JA.

LPDDR unterstützt das Halten großer Mengen von sogenanntem "Engram". In ihrem Engram-Papier zeigte DeepSeek, dass, während MoE die Kapazität durch bedingte Berechnung skaliert, es Transformern an einem nativen Primitive für den Wissensabruf mangelt. Sie sind gezwungen, den Abruf ineffizient durch Berechnung zu simulieren. Sie führen Engram ein, ein Modul, das klassische N-Gramm-Einbettungen in eine O(1)-Hash-basierte Suche modernisiert und eine komplementäre Sparsity-Achse schafft, die sie bedingten Speicher nennen. Dies spart Rechenleistung, benötigt aber Speicher, um die Einbettungstabelle zu hosten, die groß sein kann. Es ist ein klassischer Speicher-Rechen-Tausch, jedoch mit der Erkenntnis, dass die "Speicher"-Seite pro abgerufenem Bit dramatisch billiger ist (ein LPDDR-Zugriff vs. ein vollständiger Vorwärtsdurchlauf durch Transformer-Schichten), was es im großen Maßstab zu einem sehr günstigen Tausch macht. So sparen sie Rechenleistung, indem sie Speicher tauschen!!!

Lohnenswerte Kompromisse: Chinesische GPUs und ASICs werden aufgrund der fehlenden Transistordichte pro Chiplet (keine EUV) für immer in Bezug auf rohe FLOPs hinter westlichen GPUs zurückbleiben. Auch beim Packaging sind sie ziemlich weit zurück. Daher sind solche Kompromisse durchaus lohnenswert, insbesondere wenn man reichlich NAND- und LPDDR-Speicher herstellen kann.

DeepSeeks langfristiges Spiel rekapituliert:

Angesichts all dieser Innovationen scheint DeepSeeks Spiel nicht die unmittelbaren Gewinne von ein paar hundert Millionen zu sein, wenn man alle Entscheidungen bedenkt, die sie getroffen haben (noch keine Multimodalität, keine Sprachmodelle, Video – was ist das?) – sondern sie spielen ein geduldiges 10-Billionen-US-Dollar-Spiel, um ein alternatives Hardware-Ökosystem zu ermöglichen.

Es geht nicht nur darum, chinesische Speicherhersteller zu Schlüsselakteuren auf der chinesischen und globalen KI-Hardwarebühne zu machen, sondern auch darum, den Ressourcenbedarf selbst zu reduzieren, um KI-Modelle kosteneffizient trainieren und bereitstellen zu können – dies wird viele GPU-/ASIC-Hersteller sowie Hersteller von Netzwerkchips ermöglichen, da sie zu brauchbaren Optionen werden. All diese Innovationen werden auch dem westlichen Open-Source-Ökosystem sowie neuen Hardwareherstellern zugutekommen.

Alle Anzeichen sind da. Lassen Sie uns einfach alle Innovationen, die sie entwickelt haben, im Detail rekapitulieren:

1. Mixture of Expert (MoE) und MLA eingeführt in DeepSeek V2. MoE hat es ermöglicht, sehr intelligente Modelle mit 40 bis 50% weniger Rechenleistung zu trainieren. MLA hat es ermöglicht, den KV-Cache um 90% zu reduzieren. Dadurch wurde das Auslagern des KV-Caches auf die SSD ziemlich effizient. Diese Ideen wurden in ihrem Papier vom Mai 2024 DeepSeek V2 vorgestellt. Es ermöglichte später das Training von DeepSeek V3, das zu dieser Zeit nahezu Closed Source war und nur 2048 beschnittene H800-GPUs verwendete.

1. DSA (eingeführt in DeepSeek V3.2 Exp) zur Reduzierung der Rechenleistung für Langzeitkontext-Szenarien und auch zur Entlastung der HBM-Bandbreite. Es stellt sicher, dass die Berechnung nicht mit wachsendem Kontext zunimmt. Bitte sehen Sie sich die folgenden Diagramme an – die Verarbeitungszeit für DeepSeek-v3.2 bleibt mit dem Kontext flach.

1. mHC eingeführt im Dezember 2025 im Papier mHC: Manifold-Constrained Hyper-Connections. mHC ist eine Makroarchitektur-Innovation von DeepSeek, die die Art und Weise, wie Informationen zwischen Transformer-Schichten fließen, neu erfindet. Anstelle der standardmäßigen Residuenverbindung (x + F(x)), die seit ResNet verwendet wird, erweitert mHC den Residuenstrom auf mehrere parallele Informationshighways und ermöglicht ein erlerntes Mischen zwischen ihnen – begrenzt jedoch die Mischmatrizen entscheidend auf doppelt stochastische (via Sinkhorn-Knopp-Projektion auf das Birkhoff-Polytop), was mathematisch garantiert, dass die Signalstärke über beliebige Tiefe hinweg erhalten bleibt.

• Dies löst die katastrophale Instabilität, die uneingeschränkte Hyper-Connections (ursprünglich bei ByteDance erfunden) plagte, bei der die Signalverstärkung bei einer Größe von 27B auf das 3000-fache explodierte und das Training vollständig zusammenbrach.
• Der Rechenaufwand ist minimal: mHC fügt nur 6,7% Overhead zur Wanduhr-Trainingszeit hinzu, da es die FLOPs der Attention- oder FFN-Schichten nicht ändert, sondern nur, wie ihre Ausgaben zwischen den Schichten weitergeleitet werden.
• Die Leistungssteigerungen sind jedoch erheblich: Bei 27B Parametern liefert mHC +7,2 Punkte bei BIG-Bench Hard Reasoning, +3,2 bei DROP, +2,8 bei GSM8K Mathematik und +1,4 bei MMLU Allgemeinwissen, alles bei derselben Modellgröße und einem nahezu identischen Rechenbudget.

Im Wesentlichen erreicht mHC eine sinnvoll höhere Intelligenz pro Parameter, indem es dem Netzwerk eine reichhaltigere, ausdrucksstärkere Topologie zur Weiterleitung von Informationen über Schichten hinweg bietet, während es fast nichts an zusätzlichen FLOPs kostet.

1. CSA, HSA (eingeführt in DeepSeek V4 im April 2026) zur Reduzierung des KV-Bedarfs um weitere 90% durch Komprimierung von KV-Token und reduziert den erforderlichen FLOPs-Aufwand erheblich, wodurch der Druck auf HBM und GPU/ASIC verringert wird.

1. Engram eingeführt im Q1 2026, wo sie Speicher (LPDDR-Speicher) gegen Rechenleistung tauschen (in gewisser Weise). Wie die folgende detaillierte Tabelle zeigt, sind die Leistungsgewinne durch Engram beim gleichen Gesamtparameterbudget zu sehen.

1. Extreme Fokussierung auf Compute- und Communication-Overlap, und Innovationen wie Dual Path können als Workaround für Ressourcenbeschränkungen erklärt werden. Aber DeepSeek geht noch weiter und berät Hardware-Anbieter bei ihrem ASIC-Design, um sicherzustellen, dass sie keine wertvollen Siliziumressourcen verschwenden. Dies stammt aus dem DeepSeek V4 Papier.

1. Die Investition in TileLang weist in die konsequente Richtung, dass sie sich nicht nur mit ihrer eigenen Rechenknappheit befassen, sondern das chinesische Hardware-Ökosystem wettbewerbsfähig mit dem westlichen Ökosystem machen. Mit Tilelang ist es möglich, einen Kernel (Code für Berechnungen) einmal zu entwickeln und ihn erfolgreich auf mehreren Hardware-Plattformen auszuführen, für die ein TileLang-Backend verfügbar ist. Ich erwarte, dass alle anderen Labore in China mitmachen werden – was chinesischen Hardwareherstellern indirekt hilft, den "CUDA-Graben" zu umgehen. Dies ermöglicht auch mehr westliche Hardware wie AMD.

Hinweis: Viele KI-Plattformen in China bieten entweder CUDA-Kompatibilität oder eine CUDA-Übersetzungsschicht: Moore Threads, MetaX, Biren und Iluvatar CoreX sind die CUDA-kompatibelsten chinesischen Chips über Übersetzungsschichten. Sie benötigen TileLang (theoretisch) nicht.

Großflächiges RL und RSI:

Mit Zugang zu mehr Rechenleistung (aufgrund von mehr potenziellen Hardware-Optionen) und einer Reduzierung des Rechenbedarfs kann DeepSeek viel ehrgeizigere Trainingsprojekte in Angriff nehmen; insbesondere RL-Post-Training. RL beinhaltet das Generieren einer großen Anzahl von Trajektorien – das Generieren von Billionen von Token. Das kann schnell teuer werden. Um 1M-Kontextmodelle zu trainieren, müssen Sie Trajektorien generieren, die so lang sind. Das Trainieren von Modellen für so lange Trajektorien ermöglicht Langzeitaufgaben.

Darüber hinaus wird die Verfügbarkeit von mehr Hardware bei DeepSeek aufgrund der erhöhten Optionen eine automatisierte Forschung (RSI) ermöglichen. RSI beinhaltet, dass KI selbst Experimente entwirft und durchführt. Der Ansatz hat eine große Anzahl von Versuch und Irrtum und kann sehr schnell teuer werden. RSI ist jedoch wichtig, um den gesamten Designraum zu erkunden. DeepSeek muss RSI-fähig sein, bevor sie AGI und anschließend ASI erreichen.

Was DeepSeek heute tut, tut der Rest der Branche morgen:

DeepSeeks Innovationen in den Bereichen Mixture of Expert, MLA, DSA wurden von den anderen KI-Laboren auf der ganzen Welt und aus China übernommen.

Zum Beispiel verwenden ZAI – die Hersteller der GLM-Modellfamilie – MLA und DSA. Kimi (Moonshot) hat MLA übernommen und zögert nicht zu sagen, dass ihre Architektur auf DeepSeeks Architektur basiert. Im Gegenzug verwendet DeepSeek den Muon-Optimierer, der zuerst von Kimi (Moonshot) für großflächiges Training verwendet wurde.

(HINWEIS:

• MoE wurde bei Google im Jahr 2027 mit Naom Shazeer als Hauptautor erfunden. DeepSeek hat es in großem Maßstab angewendet und eigene Tricks erfunden.

• Der Muon (MomentUm Orthogonalized by Newton-Schulz)-Optimierer wurde Ende 2024 vom Machine-Learning-Forscher Keller Jordan entwickelt. Das Kimi (Moonshot)-Team war das erste, das ihn in großem Maßstab einsetzte.)

Was ist mit Geldverdienen?:

Betrachten wir ein interessantes Beispiel von OpenAI. OpenAI erhielt Optionsscheine/Aktienoptionen zum Kauf von Aktien von AMD und Cerebras zu einem niedrigen Preis, basierend auf Verbrauchsmeilensteinen. Es ist ein großartiger Deal für AMD und Cerebras. Da OpenAI sich ihnen verpflichtet hat, werden sie wahrscheinlich langfristig erfolgreich sein.

Zitat aus der AMD-Ankündigung: "Im Rahmen der Vereinbarung hat AMD OpenAI, um die strategischen Interessen weiter aufeinander abzustimmen, einen Optionsschein für bis zu 160 Millionen Aktien von AMD-Stammaktien ausgestellt, der strukturiert ist, um bei Erreichen bestimmter Meilensteine unverfallbar zu werden. Die erste Tranche wird mit der anfänglichen Bereitstellung von 1 Gigawatt unverfallbar, weitere Tranchen werden unverfallbar, wenn die Käufe auf bis zu 6 Gigawatt skaliert werden. Die Unverfallbarkeit ist weiterhin an das Erreichen bestimmter Aktienkursziele durch AMD und das Erreichen der technischen und kommerziellen Meilensteine durch OpenAI gebunden, die erforderlich sind, um AMD-Bereitstellungen in großem Maßstab zu ermöglichen."

Ich prognostiziere, dass DeepSeek solche Vereinbarungen mit mehreren chinesischen Speicher-, ASIC-, CPU- und Netzwerk-Stack-Herstellern eingehen und eng mit ihnen zusammenarbeiten wird, um ihre Hardware-Stacks für führende KI-Workloads nutzbar zu machen.

Angesichts der Tatsache, dass die kombinierte Bewertung aller westlichen (einschließlich ostasiatischer Verbündeter) KI-Aktien weit über 10 Billionen US-Dollar liegt, ermöglicht dieser Ansatz der Zusammenarbeit mit Aktienvergütung DeepSeek, eine ebenso große Industrie in China aufzubauen und sich ihr Stück vom Kuchen zu sichern, während sie eine Bewertung von 1 Billion US-Dollar für sich selbst erreichen.

Dies wird es ihnen ermöglichen, weit mehr Geld zu verdienen und gleichzeitig ihr Ziel, in ihren eigenen Worten "AGI für alle", zu erreichen. Liang Wenfeng – ein großer Fan von Jim Simons – ist ein zu kluger Kapitalist, um das zu verpassen!

Das ist das Einzige, was Sinn ergibt, wenn man sich alles ansieht, was DeepSeek bisher getan hat...

Ausführlicher Blog zu diesen Innovationen erscheint am Wochenende. Folgen Sie meinem Substack https://polymath707.substack.com/, wenn Sie interessiert sind...