La grande stratégie à 10 000 milliards de dollars de DeepSeek

Vous êtes-vous déjà demandé comment DeepSeek pourrait gagner de l'argent, et beaucoup d'argent ?

Ils n'ont pas élaboré de plans de codage concurrentiels comme GLM, MoonShot et MiniMax. Ils n'ont pas de modèles multimodaux, audio ou vidéo. À ce jour, ils n'ont pas de harnais (ils ont récemment commencé à recruter pour en construire un) ? DeepSeek s'engage également à long terme en faveur de l'open source et est trop heureux de partager leur sauce secrète. Est-ce de la folie ? Est-ce un pur gaspillage d'argent ? Les investisseurs qui s'apprêtent à investir 10 milliards de dollars en eux jettent-ils leur argent dans un égout ?

Non, bien au contraire, à mon avis !!!

Voici des observations sur ce qu'ils ont fait jusqu'à présent, et une stratégie qu'ils semblent suivre. Les yeux de Liang Wenfeng (PDG de DeepSeek) semblent fixés sur un prix bien plus grand, et ils pourraient atteindre une valorisation de 1 000 milliards de dollars, tout en contribuant à créer une industrie de 10 000 milliards de dollars !

Revisiter le voyage du héros de DeepSeek

DeepSeek a toujours été à contre-courant de la construction de modèles progressivement meilleurs et de la tentative de vendre des applications immédiates - par exemple, les plans de codage. J'ai publié ce tweet viral le 27 janvier 2025 sur ce que je considérais comme le voyage du héros de DeepSeek. L'histoire ne fait que devenir plus intéressante.

• Alors que les gens essayaient de construire des modèles denses, DeepSeek s'est tourné vers les modèles Mixture of Experts (MoE) qui étaient difficiles à entraîner.
• Ils ont travaillé à partir d'une approche de « premier principe » et ont inventé un nouvel algorithme, GRPO, pour remplacer l'algorithme PPO dominant pour l'apprentissage par renforcement (RL) qui était plus coûteux à mettre en œuvre.
• Ils ont découvert que l'apprentissage par renforcement à partir de récompenses vérifiées (RLVR) était une stratégie clé pour améliorer la capacité de raisonnement des modèles.
• Ils ont conçu une stratégie simple pour le décodage spéculatif via la « prédiction multi-tokens » qui a également densifié le signal d'entraînement.
• Ils ont perfectionné les pipelines « zéro bulle » pour améliorer l'utilisation des ressources GPU limitées.
• Ils ont publié un équilibreur de charge d'experts pour faciliter le déploiement des modèles Mixture of Experts par tout le monde. En particulier, avec la stratégie « Wide Expert Parallel », les modèles peuvent être servis de manière beaucoup plus économique car on peut avoir de grands lots.
• Ils ont inventé MLA, DSA, CSA, HCA pour réduire le besoin de KV Cache et maintenir la demande de calcul quasi constante face à un contexte croissant.
• Ils ont inventé Engram pour échanger de la mémoire contre du calcul.
• Ils ont inventé mHC pour obtenir un entraînement stable à mesure que la taille du modèle augmente. Et la liste continue....

Dans la structure du récit du voyage du héros (la plus universelle), le héros ne décide jamais quel sera son voyage. Il apprend en cours de route, se fixe une grande mission et l'accomplit contre toute attente. Il rencontre de nombreux détracteurs, mais il les ignore. Il rencontre de nombreux acteurs de mauvaise foi. Il a un grand défaut ou une faiblesse - mais il les surmonte pour accomplir sa mission. Il fait face à des défis qui semblent insurmontables, mais trouve comment former des alliances et utiliser judicieusement les ressources précieuses. C'est ce qui fait que le public soutient le héros. C'est ce qui vaut à DeepSeek ses fans, son respect mondial et aussi ses détracteurs.

Comme je vais vous le montrer en détail, DeepSeek est sur ce chemin depuis assez longtemps maintenant et a découvert sa destinée ultime : ce n'est pas de vendre des plans de codage, mais de permettre un écosystème matériel d'IA chinois de 10 000 milliards de dollars et d'atteindre une valorisation de 1 000 milliards de dollars pour lui-même. Ce faisant, ils permettront également à de nouveaux entrants dans l'écosystème matériel occidental.

Commentaires et critiques bienvenus : @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Commençons par quelques calculs amusants sur le KV Cache :

Lisez ce tweet opportun de @SemiAnalysis_ :

Faisons d'abord quelques calculs amusants sur le KV Cache. Ne vous inquiétez pas si vous n'aimez pas les maths. Nous utiliserons le calculateur de KV Cache récemment publié pour voir les économies de KV Cache rendues possibles par DeepSeek V4 Pro et les comparer avec les derniers modèles GLM et Qwen.

Je calcule pour un contexte de 1 million. Je suppose une précision KV de 8 bits et une précision d'indexeur de 16 bits. Vous pouvez jouer avec le calculateur.

https://kvcache.ai/tools/kv-cache-calculator/

Pour un contexte de 1 million

1. DeepSeek V4 a besoin de seulement 5,48 Go de HBM
2. GLM5 a besoin de 60 Go de HBM
3. Qwen3-235B-A22B a besoin d'un énorme 89 Go

Attention

1. DeepSeek est un modèle de 1,6 billion de paramètres,
2. GLM5 a environ 700 milliards de paramètres, il utilise déjà MLA et DSA de DeepSeek, mais pas la dernière attention compressée
3. Qwen3-235B-A22B a environ 235 milliards de paramètres et utilise l'attention GQA

DeepSeek a apporté une contribution fondamentale pour soulager la pression sur la mémoire. Si elle est largement adoptée, cette innovation peut rendre les agents à long horizon hautement économiques et débloquer le prochain ensemble de cas d'utilisation.

La méthode derrière la folie :

Cette petite taille de KV Cache - sans compromettre la qualité - est la raison pour laquelle ils peuvent offrir un cache long à un prix ridiculement bas - moins de 3 % du prix des hits de cache pour Sonnet 4.6 - et ils le conservent pendant plusieurs heures.

Une petite quantité de cache pour une tâche à long horizon permet de le décharger sur des SSD et de le recharger de manière très économique. Cela réduit le besoin de HBM, qui est rare et la mémoire la plus difficile à fabriquer du point de vue de l'industrie matérielle chinoise de l'IA. DeepSeek a également développé des techniques pour charger le KV Cache plus rapidement depuis le SSD, comme décrit dans l'article Dual Path.

Qui est le bénéficiaire immédiat de la compression du KV Cache ? :

Qui fournit des SSD en grande quantité ? Rappelez-vous que YMCT émerge comme un géant de la 3D NAND. La NAND permet à DeepSeek d'éviter le recalcul des KV. À son tour, DeepSeek crée un vaste marché pour la NAND et les SSD - non seulement pour YMTC, mais aussi pour tous les autres.

Il ne s'agit pas seulement de NAND et de SSD, cependant :

La mémoire LPDDR a un grand potentiel pour être un endroit où l'on peut stocker les poids et les diffuser dans le HBM selon les besoins, réduisant ainsi la pression sur la demande de HBM. L'équipe SGLang a publié un excellent blog à ce sujet. Je présente ci-dessous un diagramme pour expliquer le fonctionnement du système.

Bien que DeepSeek n'ait rien fait de spécifique pour cela - leur architecture MoE avec un grand nombre d'experts et des poids de 4 bits facilite la mise en œuvre de ce système.

Cette innovation, combinée à un KV Cache ultra-compact (sans perte), réduit considérablement la demande de HBM.

Qui fabrique le LPDDR en Chine ? CXMT. Ils n'ont qu'un retard de 0,5 génération sur la vitesse pour le LPDDR et d'une génération sur la densité. Pas très loin ! En plus de la NAND abondante, l'écosystème chinois disposera de LPDDR abondant dans un avenir proche. Cela peut-il soulager la pression sur le calcul ? OUI. Suite...

L'utilisation intelligente de la mémoire réduit également la pression sur les GPU/ASIC

Il est assez clair de comprendre que l'utilisation de la NAND pour le KV Cache permet de conserver le KV Cache plus longtemps, réduit la pression sur le HBM et aide à éviter le recalcul du KV Cache, ce qui soulage la pression de calcul sur les GPU et les ASIC. Le LPDDR peut-il également aider de la même manière, en plus d'être un endroit d'où les poids peuvent être diffusés « juste à temps » ? La réponse est OUI.

Le LPDDR supporte le stockage d'une grande quantité de ce qu'on appelle « Engram ». Dans leur article Engram, DeepSeek a montré que si les MoE adaptent la capacité via un calcul conditionnel, les Transformers manquent d'une primitive native pour la recherche de connaissances. Ils sont obligés de simuler inefficacement la recherche par le calcul. Ils introduisent Engram, un module qui modernise l'incorporation classique de N-gram en une recherche basée sur le hachage en O(1), créant un axe de rareté complémentaire qu'ils appellent mémoire conditionnelle. Cela économise du calcul, mais nécessite de la mémoire pour héberger la table d'incorporations qui peut être de grande taille. C'est une substitution classique mémoire-calcul, mais avec l'idée que le côté « mémoire » est considérablement moins cher par bit récupéré (une recherche LPDDR contre un passage avant complet à travers les couches du transformateur), ce qui en fait un échange très favorable à grande échelle. C'est ainsi qu'ils économisent du calcul en échangeant de la mémoire !!!

Des compromis qui valent la peine : les GPU et ASIC chinois seront toujours en retard en termes de FLOPs bruts par rapport aux GPU occidentaux en raison de l'absence de la même densité de transistors par puce (pas d'EUV). Ils sont également assez en retard dans l'encapsulation. De tels compromis sont donc très utiles, surtout si vous pouvez fabriquer de la NAND et de la mémoire LPDDR en abondance.

Le long jeu de DeepSeek raconté :

À travers toutes ces innovations, le jeu de DeepSeek ne semble pas être les bénéfices immédiats de quelques centaines de millions compte tenu de tous les choix qu'ils ont faits (pas encore de multimodalité, pas de modèles vocaux, vidéo - qu'est-ce que c'est que ça ?) - mais ils jouent un jeu patient de 10 000 milliards de dollars pour permettre un écosystème matériel alternatif.

Il ne s'agit pas seulement de faire des acteurs chinois de la mémoire des acteurs clés sur la scène matérielle de l'IA chinoise et mondiale, mais aussi de réduire la demande de ressources elle-même, pour être capable d'entraîner et de servir des modèles d'IA de manière rentable - cela permettra à de nombreux fabricants de GPU/ASIC ainsi qu'à des fabricants de puces réseau de devenir des options viables. Toutes ces innovations aideront également l'écosystème open source occidental ainsi que les nouveaux fabricants de matériel.

Tous les signes sont là. Réénumérons simplement en détail toutes les innovations qu'ils ont trouvées :

1. Mixture of Expert (MoE) et MLA introduits dans DeepSeek V2. MoE a permis d'entraîner des modèles très intelligents avec 40 à 50 % de calcul en moins. MLA a permis de réduire le KV Cache de 90 %. Cela a rendu le déchargement du KV Cache vers le SSD très efficace. Ces idées ont été introduites dans leur article de mai 2024 DeepSeek V2. Cela a ensuite débloqué l'entraînement de DeepSeek V3 qui était presque fermé à l'époque avec seulement 2048 GPU H800 bridés.

1. DSA (introduit dans DeepSeek V3.2 Exp) pour réduire le calcul pour les scénarios de long contexte et également soulager la pression sur la bande passante HBM. Il garantit que le calcul n'augmente pas avec un contexte croissant. Veuillez voir les graphiques ci-dessous - le temps de traitement pour DeepSeek-v3.2 reste constant avec le contexte.

1. mHC introduit en décembre 2025 dans l'article mHC: Manifold-Constrained Hyper-Connections. mHC est une innovation de macro-architecture de DeepSeek qui réinvente la façon dont l'information circule entre les couches du transformateur. Au lieu de la connexion résiduelle standard (x + F(x)) utilisée depuis ResNet, mHC étend le flux résiduel en plusieurs autoroutes d'information parallèles et permet un mélange appris entre elles - mais contraint crucialement les matrices de mélange à être doublement stochastiques (via la projection de Sinkhorn-Knopp sur le polytope de Birkhoff), ce qui garantit mathématiquement que l'amplitude du signal est préservée sur une profondeur arbitraire.

• Cela résout l'instabilité catastrophique qui a affecté les Hyper-Connections non contraintes (initialement inventées chez ByteDance), où l'amplification du signal explosait à 3000× à l'échelle de 27B, effondrant complètement l'entraînement.
• Le coût de calcul est minime : mHC n'ajoute que 6,7 % de surcoût d'entraînement en temps réel car il ne modifie pas les FLOPs des couches d'attention ou FFN, seulement la façon dont leurs sorties sont acheminées entre les couches.
• Les gains de performance, cependant, sont substantiels : à 27B paramètres, mHC apporte +7,2 points sur BIG-Bench Hard reasoning, +3,2 sur DROP, +2,8 sur GSM8K math, et +1,4 sur MMLU general knowledge, le tout à la même taille de modèle et avec un budget de calcul presque identique.

En substance, mHC atteint une intelligence par paramètre significativement plus élevée en donnant au réseau une topologie plus riche et plus expressive pour acheminer l'information entre les couches, tout en ne payant presque rien en FLOPs supplémentaires.

1. CSA, HSA (introduits dans DeepSeek V4 en avril 2026) pour réduire le besoin de KV de 90 % supplémentaires en compressant les tokens KV et réduire les FLOPs nécessaires d'une grande marge, soulageant la pression à la fois sur le HBM et le GPU/ASIC.

1. Engram introduit au premier trimestre 2026 où ils échangent de la mémoire (LPDDR) contre du calcul (d'une certaine manière). Comme le montre le graphique détaillé ci-dessous, le gain de performance dû à Engram avec le même budget global de paramètres.

1. Une concentration extrême sur le chevauchement entre le calcul et la communication, et des innovations comme Dual Path peuvent s'expliquer comme une solution de contournement à la contrainte de ressources. Mais DeepSeek va plus loin en conseillant les fabricants de matériel sur la conception de leurs ASIC pour s'assurer qu'ils ne gaspillent pas de précieuses ressources de silicium. Ceci est tiré du papier DeepSeek V4.

1. L'investissement dans TileLang pointe dans la même direction : ils ne gèrent pas seulement leur propre pénurie de calcul, mais rendent l'écosystème matériel chinois compétitif par rapport à l'écosystème occidental. Avec TileLang, il est possible de développer un kernel (code pour le calcul) une fois et de l'exécuter avec succès sur plusieurs plateformes matérielles pour lesquelles le backend TileLang est disponible. Je m'attends à ce que tous les autres laboratoires basés en Chine se joignent à nous - aidant les fabricants de matériel chinois à contourner indirectement le « fossé CUDA ». Cela débloque également davantage de matériel occidental comme AMD.

Remarque : de nombreuses plateformes d'IA en Chine fournissent soit une compatibilité CUDA, soit une couche de traduction CUDA : Moore Threads, MetaX, Biren, et Iluvatar CoreX sont les puces chinoises les plus compatibles CUDA via des couches de traduction. Ils n'ont pas besoin de TileLang (en théorie).

RL à grande échelle et RSI :

Avec l'accès à plus de calcul (grâce à plus d'options matérielles potentielles) et la réduction de la demande de calcul, DeepSeek peut entreprendre des projets d'entraînement beaucoup plus ambitieux ; en particulier le post-entraînement RL. RL implique la génération d'un grand nombre de trajectoires - générant des billions de tokens. Cela peut devenir cher très rapidement. De plus, pour entraîner des modèles avec un contexte de 1 million, vous devez générer des trajectoires aussi longues. L'entraînement de modèles pour de si longues trajectoires permet des tâches à long horizon.

De plus, la disponibilité de plus de matériel chez DeepSeek grâce à des options accrues permettra la recherche automatisée (RSI). Le RSI implique que l'IA elle-même conçoive et réalise des expériences. L'approche comporte un grand nombre d'essais et d'erreurs et peut devenir coûteuse très rapidement. Cependant, le RSI est important pour explorer tout l'espace de conception. DeepSeek devra être capable de RSI avant d'atteindre l'AGI puis l'ASI.

Ce que fait DeepSeek aujourd'hui, le reste de l'industrie le fera demain :

Les innovations de DeepSeek autour de Mixture of Expert, MLA, DSA ont été reprises par le reste des laboratoires d'IA du monde entier et de Chine.

Par exemple, ZAI - fabricants de la famille de modèles GLM - utilise MLA et DSA. Kimi (Moonshot) a adopté MLA et n'hésite pas à dire que leur architecture est basée sur celle de DeepSeek. En retour, DeepSeek utilise l'optimiseur Muon qui a été utilisé pour la première fois par Kimi (Moonshot) pour l'entraînement à grande échelle.

(NOTE :

• MoE a été inventé chez Google en 2027 avec Naom Shazeer comme auteur principal. DeepSeek l'a appliqué à grande échelle et a inventé ses propres astuces.

• L'optimiseur Muon (MomentUm Orthogonalized by Newton-Schulz) a été créé par le chercheur en apprentissage automatique Keller Jordan fin 2024. L'équipe de Kimi (Moonshot) a été la première à l'utiliser à grande échelle.)

Et pour gagner de l'argent ? :

Étudions l'exemple intéressant d'OpenAI. OpenAI a reçu des warrants/options pour acheter des actions d'AMD et de Cerebras à bas prix, en fonction des jalons de consommation. C'est une excellente affaire pour AMD et Cerebras. OpenAI s'étant engagé envers eux, ils ont de fortes chances de réussir à long terme.

Citation de l'annonce d'AMD : « Dans le cadre de l'accord, pour aligner davantage les intérêts stratégiques, AMD a émis à OpenAI un warrant pour jusqu'à 160 millions d'actions ordinaires d'AMD, structuré pour être acquis à mesure que des étapes spécifiques sont atteintes. La première tranche est acquise avec le déploiement initial de 1 gigawatt, les tranches supplémentaires étant acquises à mesure que les achats augmentent jusqu'à 6 gigawatts. L'acquisition est en outre liée à l'atteinte par AMD de certains objectifs de cours de l'action et à l'atteinte par OpenAI des jalons techniques et commerciaux nécessaires pour permettre les déploiements d'AMD à grande échelle. »

Je prévois que DeepSeek conclura de tels accords avec plusieurs fabricants chinois de mémoire, d'ASIC, de CPU et de pile réseau, et travaillera en étroite collaboration avec eux pour rendre leurs piles matérielles viables pour les charges de travail d'IA de pointe.

Étant donné que la valorisation combinée de toutes les actions d'IA occidentales (y compris les alliés d'Asie de l'Est) dépasse largement 10 000 milliards de dollars. Cette approche - une collaboration qui attribue des actions - permet à DeepSeek d'aider à créer une industrie tout aussi grande en Chine et de revendiquer leur part du gâteau tout en atteignant une valorisation de 1 000 milliards de dollars pour eux-mêmes.

Cela leur permettra de gagner beaucoup plus d'argent tout en atteignant leur objectif, selon leurs propres termes, de « l'AGI pour tous ». Liang Wenfeng - un grand fan de Jim Simons - est un capitaliste trop intelligent pour manquer cela !

C'est la seule chose qui a du sens, si l'on regarde tout ce que DeepSeek a fait jusqu'à présent...

Un blog détaillé sur ces innovations sortira ce week-end, suivez mon substack https://polymath707.substack.com/ si cela vous intéresse...