La grande strategia da 10 trilioni di dollari di DeepSeek

Ti sei mai chiesto come farà DeepSeek a fare soldi, e pure tanti?

Non hanno lanciato piani di coding competitivi come GLM, MoonShot e MiniMax. Non hanno modelli multimodali, audio o video. Ancora oggi non hanno un harness (hanno iniziato ad assumere di recente per costruirne uno)? DeepSeek è anche impegnata nell'open source a lungo termine ed è fin troppo felice di condividere la sua ricetta segreta. È follia? È uno spreco di denaro? Gli investitori che stanno per metterci 10 miliardi di USD stanno buttando soldi in un pozzo senza fondo?

No – tutt'altro, secondo me!!!

Ecco le mie osservazioni su ciò che hanno fatto finora e la strategia che sembrano seguire. Liang Wenfeng (CEO di DeepSeek) sembra avere gli occhi puntati su un premio molto più grande e potrebbe raggiungere una valutazione di 1 trilione di USD, contribuendo a creare un'industria da 10 trilioni di USD!

Rivisitare il Viaggio dell'Eroe di DeepSeek

DeepSeek ha sempre remato controcorrente rispetto alla costruzione di modelli sempre migliori e alla vendita di applicazioni immediate – ad esempio, i piani di coding. Ho scritto questo tweet virale il 27 gennaio 2025 su ciò che vedevo come il Viaggio dell'Eroe di DeepSeek. La storia si fa solo più interessante.

• Mentre altri cercavano di costruire modelli densi, DeepSeek ha puntato sui modelli Mixture of Expert (MoE), che erano difficili da addestrare.
• Hanno lavorato partendo dai 'primi principi' e hanno inventato un nuovo algoritmo, GRPO, per sostituire il dominante algoritmo PPO per l'Apprendimento per Rinforzo (RL), che era più costoso da implementare.
• Hanno capito che l'Apprendimento per Rinforzo da Ricompense Verificate (RLVR) era una strategia chiave per migliorare la capacità di ragionamento dei modelli.
• Hanno ideato una strategia semplice per la Decodifica Speculativa attraverso la "Previsione Multi-Token", che ha anche infittito il segnale di addestramento.
• Hanno perfezionato le pipeline "ZERO bubble" per migliorare l'uso delle risorse GPU limitate.
• Hanno pubblicato il Bilanciatore di Carico degli Esperti per rendere facile a tutti la distribuzione di modelli Mixture of Expert. In particolare, con la strategia "Wide Expert Parallel", i modelli possono essere serviti in modo molto più economico, poiché si possono avere lotti di grandi dimensioni.
• Hanno inventato MLA, DSA, CSA, HCA per ridurre la necessità di KV Cache e mantenere la domanda di calcolo quasi costante al crescere del contesto.
• Hanno inventato Engram per scambiare memoria con calcolo.
• Hanno inventato mHC per ottenere un addestramento stabile all'aumentare delle dimensioni del modello. E l'elenco continua...

Nella struttura narrativa del Viaggio dell'Eroe (la più universale), l'eroe non decide mai quale sarà il suo viaggio. Impara lungo la strada, si trova una grande missione e la completa contro ogni previsione. Incontra molti detrattori, ma li ignora. Incontra molti attori in malafede. Ha un grande difetto o debolezza – ma li supera per portare a termine la sua missione. Affronta sfide che sembrano insormontabili, ma trova il modo di fare alleanze e di usare saggiamente le risorse preziose. È questo che fa tifare il pubblico per l'eroe. È questo che fa guadagnare a DeepSeek il seguito di fan, il rispetto globale e anche i detrattori.

Come mostrerò in dettaglio, DeepSeek è su questo viaggio da abbastanza tempo e ha scoperto il destino finale: non vendere piani di coding, ma abilitare un ecosistema hardware AI cinese da 10 trilioni di USD e raggiungere per sé una valutazione di 1 trilione di USD. Così facendo, permetteranno anche l'ingresso di molti nuovi attori nell'ecosistema hardware occidentale.

Commenti e critiche benvenuti: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Iniziamo con un po' di divertimento sui calcoli della KV Cache:

Leggi questo tweet tempestivo di @SemiAnalysis_ :

Prima facciamo un po' di divertente matematica sulla KV cache. Non preoccuparti se non ami la matematica. Useremo il calcolatore di KV Cache recentemente rilasciato per vedere il risparmio di KV Cache reso possibile da DeepSeek V4 Pro e confrontarlo con gli ultimi modelli GLM e Qwen.

Calcolo per un contesto di 1M. Assumo una precisione KV a 8 bit e una precisione dell'indicizzatore a 16 bit. Puoi giocare con il calcolatore.

https://kvcache.ai/tools/kv-cache-calculator/

Per un contesto di 1M

1. DeepSeek V4 necessita solo di 5.48 GB di HBM
2. GLM5 necessita di 60 GB di HBM
3. Qwen3-235B-A22B necessita di ben 89 GB

Tieni presente che

1. DeepSeek è un modello da 1.6 T di parametri,
2. GLM5 ha circa 700 miliardi di parametri, usa già MLA e DSA di DeepSeek; anche se non l'attenzione compressa più recente
3. Qwen3-235B-A22B ha circa 235B e usa l'attenzione GQA

DeepSeek ha dato un contributo fondamentale per alleviare la pressione sulla memoria. Se ampiamente adottata, questa innovazione può rendere gli agenti a lungo orizzonte altamente economici e sbloccare il prossimo insieme di casi d'uso.

Il metodo dietro la follia:

Questa piccola dimensione della KV cache – senza compromettere la qualità – è il motivo per cui possono offrire una cache a lungo termine a un prezzo così ridicolmente basso – meno del 3% del prezzo dei Cache hit per Sonnet 4.6 – e la mantengono per diverse ore.

La piccola quantità di cache per attività a lungo orizzonte consente di scaricare su SSD e ricaricare in modo molto conveniente. Ciò riduce la necessità di HBM, che scarseggia ed è la memoria più difficile da produrre dal punto di vista dell'industria hardware AI cinese. DeepSeek ha anche sviluppato tecniche per caricare la KV cache più velocemente dall'SSD, come descritto nel documento Dual Path.

Chi è il beneficiario immediato della compressione della KV Cache?:

Chi fornisce SSD in grandi quantità? Ricorda che YMCT sta emergendo come un gigante della 3D NAND. La NAND permette a DeepSeek di evitare la ricomputazione delle KV. A sua volta, DeepSeek crea un grande mercato per NAND e SSD – non solo di YMTC, ma di tutti gli altri.

Non si tratta solo di NAND e SSD, comunque:

La memoria LPDDR ha un grande potenziale come luogo dove conservare i pesi e trasmetterli all'HBM secondo necessità, riducendo la pressione sulla domanda di HBM. Il team di SGLang ha pubblicato un grande blog a riguardo. Presento il diagramma qui sotto per spiegare come funziona lo schema.

Sebbene DeepSeek non abbia fatto nulla di specifico per questo – la loro architettura MoE con un gran numero di esperti e pesi a 4 bit rende facile implementare questo schema.

Questa innovazione, combinata con una KV Cache super compatta (senza perdite), riduce significativamente la domanda di HBM.

Chi in Cina produce LPDDR? CXMT. Sono solo a 0.5 generazioni di distanza sulla velocità per LPDDR e a 1 generazione di distanza sulla densità. Non molto lontani! Inoltre, con NAND abbondante, l'ecosistema cinese avrà LPDDR abbondante nel prossimo futuro. Questo può alleviare la pressione sul calcolo? SÌ. Segui...

L'uso intelligente della memoria riduce anche la pressione su GPU/ASIC

È abbastanza chiaro che l'uso della NAND per la KV cache consente di mantenere la KV cache più a lungo, ridurre la pressione sull'HBM e aiutare a evitare la ricomputazione della KV cache, che allevia la pressione di calcolo su GPU e ASIC. La LPDDR può aiutare in modo simile, oltre ad essere un luogo da cui i pesi possono essere trasmessi in "modalità just-in-time"? La risposta è SÌ.

La LPDDR supporta la memorizzazione di grandi quantità di ciò che è noto come "Engram". Nel loro documento Engram DeepSeek ha mostrato che, mentre MoE scala la capacità tramite calcolo condizionale, i Transformer mancano di una primitiva nativa per la ricerca di conoscenza. Sono costretti a simulare inefficientemente la ricerca attraverso il calcolo. Introducono Engram, un modulo che modernizza il classico N-gram embedding in una ricerca basata su hash O(1), creando un asse di sparsità complementare che chiamano memoria condizionale. Questo risparmia calcolo, ma necessita di memoria per ospitare la tabella degli embedding, che può essere di grandi dimensioni. È un classico scambio memoria-calcolo, ma con l'intuizione che il lato "memoria" è drammaticamente più economico per bit recuperato (una ricerca in LPDDR rispetto a un intero forward pass attraverso gli strati del trasformatore), rendendolo uno scambio molto favorevole su larga scala. È così che risparmiano sul calcolo scambiandolo con la memoria!!!

Scambi che vale la pena fare: Le GPU e gli ASIC cinesi saranno per sempre indietro in termini di FLOP puri rispetto alle GPU occidentali a causa della mancanza della stessa densità di transistor per chiplet (nessun EUV). Sono anche piuttosto indietro nel packaging. Quindi tali scambi valgono bene la pena, specialmente se puoi produrre NAND e memoria LPDDR in abbondanza.

Il gioco a lungo termine di DeepSeek raccontato:

Da tutte queste innovazioni, il gioco di DeepSeek non sembra essere il profitto immediato di poche centinaia di milioni, date tutte le scelte che hanno fatto (ancora niente multimodalità, niente modelli vocali, video – che cos'è?) – ma stanno giocando una paziente partita da 10 trilioni di USD per abilitare un ecosistema hardware alternativo.

Non si tratta solo di rendere i produttori di memoria cinesi attori chiave nell'arena hardware AI cinese e globale, ma anche di ridurre la domanda di risorse stessa, per essere in grado di addestrare e servire modelli AI in modo economicamente vantaggioso – questo permetterà a molti produttori di GPU/ASIC e chip di rete di diventare opzioni valide. Tutte queste innovazioni aiuteranno anche l'ecosistema open source occidentale, così come i nuovi produttori di hardware.

Tutti i segnali sono lì. Ricapitoliamo in dettaglio tutte le innovazioni che hanno ideato:

1. Mixture of Expert (MoE) e MLA introdotti in DeepSeek V2. MoE ha reso possibile addestrare modelli molto intelligenti con il 40-50% di calcolo in meno. MLA ha permesso di ridurre la KV cache del 90%. Ciò ha reso lo scaricamento della KV cache su SSD abbastanza efficiente. Queste idee sono state introdotte nel loro articolo del maggio 2024 DeepSeek V2. In seguito, ha sbloccato l'addestramento di DeepSeek V3, che all'epoca era quasi closed source con solo 2048 GPU H800 nerfate.

1. DSA (introdotto in DeepSeek V3.2 Exp) per ridurre il calcolo per scenari di contesto lungo e alleviare anche la pressione sulla larghezza di banda HBM. Assicura che il calcolo non cresca con l'aumentare del contesto. Guarda i grafici qui sotto – il tempo di elaborazione per DeepSeek-v3.2 rimane piatto con il contesto.

1. mHC introdotto nel dicembre 2025 nell'articolo mHC: Manifold-Constrained Hyper-Connections. mHC è un'innovazione di macro-architettura di DeepSeek che reinventa il flusso di informazioni tra gli strati del trasformatore. Invece della connessione residua standard (x + F(x)) usata fin da ResNet, mHC espande il flusso residuo in più autostrade informative parallele e consente la miscelazione appresa tra di esse – ma vincola crucialmente le matrici di miscelazione ad essere doppiamente stocastiche (tramite la proiezione di Sinkhorn-Knopp sul politopo di Birkhoff), il che garantisce matematicamente che l'ampiezza del segnale sia preservata attraverso profondità arbitrarie.

• Questo risolve l'instabilità catastrofica che affliggeva le Hyper-Connections non vincolate (inizialmente inventate da ByteDance), dove l'amplificazione del segnale esplodeva fino a 3000× a scala 27B, facendo collassare completamente l'addestramento.
• Il costo di calcolo è minimo: mHC aggiunge solo il 6.7% di overhead di addestramento a tempo di clock, poiché non modifica i FLOP degli strati di attenzione o FFN, ma solo il modo in cui i loro output vengono instradati tra gli strati.
• I guadagni in termini di prestazioni, tuttavia, sono sostanziali: a 27 miliardi di parametri, mHC fornisce +7.2 punti su BIG-Bench Hard reasoning, +3.2 su DROP, +2.8 su GSM8K math e +1.4 su MMLU general knowledge, tutto alla stessa dimensione del modello e con un budget di calcolo quasi identico.

In sostanza, mHC raggiunge un'intelligenza per parametro significativamente più alta dando alla rete una topologia più ricca ed espressiva per instradare le informazioni attraverso gli strati, pagando quasi nulla in FLOP aggiuntivi.

1. CSA, HSA (introdotte in DeepSeek V4 nell'aprile 2026) per ridurre la necessità di KV di un altro 90% comprimendo i token KV e riducendo i FLOP necessari di un ampio margine, alleviando la pressione sia su HBM che su GPU/ASIC.

1. Engram introdotto nel primo trimestre del 2026 dove scambiano memoria (memoria LPDDR) con calcolo (in un certo senso). Come mostra il seguente grafico dettagliato, il guadagno in termini di prestazioni dovuto a Engram con lo stesso budget di parametri complessivo.

1. La concentrazione estrema sulla sovrapposizione di Calcolo e Comunicazione e innovazioni come Dual Path possono essere spiegate come un modo per aggirare il vincolo delle risorse. Ma DeepSeek va oltre, consigliando ai fornitori di hardware il loro design di ASIC per assicurarsi che non sprechino preziose risorse di silicio. Questo è tratto dal documento DeepSeek V4.

1. L'investimento in TileLang indica una direzione coerente: non stanno solo affrontando la propria strozzatura di calcolo, ma stanno rendendo l'ecosistema hardware cinese competitivo con l'ecosistema occidentale. Con Tilelang è possibile sviluppare un kernel (codice per il calcolo) una volta e farlo funzionare con successo su più piattaforme hardware per le quali il backend TileLang è disponibile. Mi aspetto che tutti gli altri laboratori con sede in Cina si uniscano – aiutando i produttori di hardware cinesi ad aggirare indirettamente il "CUDA moat". Questo sblocca anche più hardware occidentale come AMD.

Nota: molte piattaforme AI in Cina forniscono compatibilità CUDA o un layer di traduzione CUDA: Moore Threads, MetaX, Biren e Iluvatar CoreX sono i chip cinesi più compatibili con CUDA tramite layer di traduzione. In teoria, non hanno bisogno di TileLang.

RL su larga scala e RSI:

Con l'accesso a più calcolo (grazie a più potenziali opzioni hardware) e alla riduzione della domanda di calcolo, DeepSeek può intraprendere progetti di addestramento molto più ambiziosi; in particolare l'addestramento post-RL. L'RL comporta la generazione di un gran numero di traiettorie – generando trilioni di token. Può diventare costoso molto rapidamente. Inoltre, per addestrare modelli con contesto di 1M, devi generare traiettorie così lunghe. L'addestramento di modelli per traiettorie così lunghe abilita attività a lungo orizzonte.

Inoltre, la disponibilità di più hardware a DeepSeek grazie a maggiori opzioni permetterà la ricerca automatizzata (RSI). La RSI implica che l'AI stessa progetti ed esegua esperimenti. L'approccio comporta un gran numero di tentativi ed errori e può diventare molto costoso molto rapidamente. Tuttavia, la RSI è importante per esplorare l'intero spazio di progettazione. DeepSeek dovrà essere in grado di fare RSI prima di raggiungere l'AGI e poi l'ASI.

Ciò che DeepSeek fa oggi, il resto del settore fa domani:

Le innovazioni di DeepSeek su Mixture of Expert, MLA, DSA sono state adottate da altri laboratori AI in tutto il mondo e dalla Cina.

Ad esempio, ZAI – produttori della famiglia di modelli GLM – usano MLA e DSA. Kimi (Moonshot) ha adottato MLA e non ha esitazione a dire che la loro architettura si basa su quella di DeepSeek. In cambio, DeepSeek usa l'ottimizzatore Muon, che è stato usato per la prima volta da Kimi (Moonshot) per l'addestramento su larga scala.

(NOTA:

• MoE è stato inventato da Google nel 2017 con Naom Shazeer come autore principale. DeepSeek lo ha applicato su larga scala e ha inventato i propri trucchi.

• L'ottimizzatore Muon (MomentUm Orthogonalized by Newton-Schulz) è stato creato dal ricercatore di machine learning Keller Jordan alla fine del 2024. Il team di Kimi (Moonshot) è stato il primo a usarlo su larga scala.)

E per quanto riguarda fare $$$?:

Studiamo un esempio interessante di OpenAI. OpenAI ha ricevuto warrant/opzioni per acquistare azioni di AMD e Cerebras a un prezzo basso, basato su traguardi di consumo. È un ottimo affare per AMD e Cerebras. OpenAI essendo impegnata con loro, li rende probabilmente di successo a lungo termine.

Citazione dall'annuncio di AMD: "Come parte dell'accordo, per allineare ulteriormente gli interessi strategici, AMD ha emesso a OpenAI un warrant per un massimo di 160 milioni di azioni di AMD common stock, strutturato in modo da maturare al raggiungimento di specifici traguardi. La prima tranche matura con il dispiegamento iniziale di 1 gigawatt, con tranche aggiuntive che maturano man mano che gli acquisti scalano fino a 6 gigawatt. La maturazione è inoltre legata al raggiungimento da parte di AMD di determinati target di prezzo delle azioni e al raggiungimento da parte di OpenAI dei traguardi tecnici e commerciali necessari per consentire i dispiegamenti di AMD su larga scala."

Prevedo che DeepSeek stipulerà tali accordi con molteplici produttori cinesi di memoria, ASIC, CPU e stack di networking e lavorerà a stretto contatto con loro per rendere i loro stack hardware validi per carichi di lavoro AI leader.

Data la valutazione combinata di tutti i titoli AI occidentali (inclusi gli alleati dell'Asia orientale) che supera di gran lunga i 10 trilioni di USD. Questo approccio – collaborazione che assegna azioni – permette a DeepSeek di aiutare a creare un'industria altrettanto grande in Cina e rivendicare la propria fetta di torta, raggiungendo al contempo una valutazione di 1 trilione di USD per sé.

Questo permetterà loro di guadagnare molti più $$$, raggiungendo allo stesso tempo il loro obiettivo, nelle loro parole, di "AGI per tutti". Liang Wenfeng – un grande fan di Jim Simons – è un capitalista troppo intelligente per perdersi questo!

Questa è l'unica cosa che ha senso, se guardi a tutto ciò che DeepSeek ha fatto finora...

Un blog dettagliato su queste innovazioni uscirà questo fine settimana, segui il mio substack https://polymath707.substack.com/ se sei interessato...