A Grande Estratégia de 10 Trilhões de Dólares da DeepSeek

Você já se perguntou como a DeepSeek pode ganhar dinheiro, e muito?

Eles não criaram planos de codificação competitivos como GLM, MoonShot e MiniMax. Eles não têm modelos multimodais, de áudio ou vídeo. Até hoje não têm uma infraestrutura de avaliação (eles começaram a contratar recentemente para construir uma)? A DeepSeek também está comprometida com o open source a longo prazo e fica muito feliz em compartilhar seu segredo. Isso é loucura? É um puro desperdício de dinheiro? Os investidores que estão prestes a investir 10 bilhões de dólares neles estão jogando dinheiro no ralo?

Não - muito pelo contrário, na minha humilde opinião!!!

Aqui apresento observações sobre o que eles fizeram até agora e uma estratégia que parecem estar seguindo. Liang Wenfeng (CEO da DeepSeek) parece estar de olho em um prêmio muito maior e eles poderiam atingir uma avaliação de 1 trilhão de dólares, enquanto ajudam a criar uma indústria de 10 trilhões de dólares!

Revisitando a Jornada do Herói da DeepSeek

A DeepSeek sempre foi contra a corrente de construir modelos incrementalmente melhores e tentar vender aplicações imediatas - por exemplo, planos de codificação. Escrevi este tweet viral em 27 de janeiro de 2025 sobre o que via como a Jornada do Herói da DeepSeek. A história está ficando cada vez mais interessante.

• Enquanto as pessoas tentavam construir modelos densos, a DeepSeek foi atrás de modelos de Mistura de Especialistas (MoE) que eram difíceis de treinar.
• Eles trabalharam a partir de uma abordagem de 'primeiros princípios' e inventaram um novo algoritmo, GRPO, para substituir o algoritmo PPO dominante para Aprendizagem por Reforço (RL), que era mais caro de implementar.
• Eles descobriram o Aprendizado por Reforço a partir de Recompensas Verificadas (RLVR) como uma estratégia chave para melhorar a capacidade de raciocínio dos modelos.
• Eles criaram uma estratégia simples para Decodificação Especulativa através da "Predição de Múltiplos Tokens", que também densificou o sinal de treinamento.
• Eles aperfeiçoaram pipelines de "ZERO bolha" para melhorar o uso de recursos limitados de GPU.
• Eles publicaram um Balanceador de Carga de Especialistas para facilitar a implantação de modelos de Mistura de Especialistas para todos. Particularmente com a estratégia "Wide Expert Parallel", os modelos podem ser servidos de forma muito mais econômica, pois é possível ter grandes lotes.
• Eles inventaram MLA, DSA, CSA, HCA para reduzir a necessidade de Cache KV e manter a demanda de computação quase constante em relação ao contexto crescente.
• Eles inventaram o Engram para trocar memória por computação.
• Eles inventaram o mHC para alcançar treinamento estável à medida que o tamanho do modelo cresce. E a lista continua....

Na estrutura da Jornada do Herói (a mais universal), o herói nunca decide qual será sua jornada. Ele aprende ao longo do caminho, descobre uma grande missão para si mesmo e a completa contra todas as probabilidades. Ele encontra muitos detratores, mas os ignora. Ele encontra muitos agentes de má-fé. Ele tem um grande defeito ou limitação - mas os supera para realizar sua missão. Ele enfrenta desafios que parecem intransponíveis, mas descobre como fazer alianças e como usar recursos preciosos com sabedoria. É isso que faz o público torcer pelo herói. É isso que conquista para a DeepSeek seus fãs, respeito global e também detratores.

Como mostrarei em detalhes, a DeepSeek está nesta jornada há tempo suficiente e já descobriu seu destino final: não é vender planos de codificação, mas sim viabilizar um ecossistema de hardware de IA chinês de 10 trilhões de dólares e alcançar uma avaliação de 1 trilhão de dólares para si mesma. Ao fazer isso, eles também permitirão a entrada de muitos novos players no ecossistema de hardware ocidental.

Comentários e críticas são bem-vindos: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Começando com alguns cálculos divertidos de Cache KV:

Leia este tweet oportuno de @SemiAnalysis_ :

Vamos fazer alguns cálculos divertidos de cache KV primeiro. Não se preocupe se você não gosta de Matemática. Usaremos a calculadora de Cache KV lançada recentemente para ver a economia de Cache KV possibilitada pelo DeepSeek V4 Pro e compará-la com os modelos mais recentes GLM e Qwen.

Eu calculo para 1M de contexto. Assumo precisão KV de 8 bits e precisão de indexador de 16 bits. Você pode brincar com a calculadora.

https://kvcache.ai/tools/kv-cache-calculator/

Para 1M de contexto

1. DeepSeek V4 precisa de apenas 5,48GB de HBM
2. GML5 precisa de 60GB de HBM
3. Qwen3-235B-A22B precisa de enormes 89GB

Observe que

1. DeepSeek é um modelo de 1,6T de parâmetros,
2. GLM5 tem cerca de 700B de parâmetros, já usa MLA e DSA da DeepSeek; embora não a atenção comprimida mais recente
3. Qwen3-235B-A22B tem cerca de 235B e usa atenção GQA

A DeepSeek fez uma contribuição fundamental para aliviar a pressão sobre a memória. Se amplamente adotada, essa inovação pode tornar agentes de horizonte longo altamente econômicos e desbloquear o próximo conjunto de casos de uso.

O método por trás da loucura:

Este tamanho pequeno de cache KV - sem comprometer a qualidade - é a razão pela qual eles podem oferecer cache retido por tanto tempo a um preço tão ridiculamente baixo - menos de 3% do preço de Cache hits para o Sonnet 4.6 - e o mantêm por várias horas.

Uma pequena quantidade de cache para tarefas de horizonte longo permite o descarregamento para SSDs e o recarregamento de forma muito econômica. Isso reduz a necessidade de HBM, que é escassa e a memória mais difícil de fabricar da perspectiva da indústria de hardware de IA chinesa. A DeepSeek também desenvolveu técnicas para carregar o cache KV mais rapidamente do SSD, conforme descrito no artigo Dual Path.

Quem é o beneficiário imediato da compressão do Cache KV?:

Quem fornece SSD em grande quantidade? Lembre-se de que a YMCT está emergindo como uma gigante do 3D NAND. O NAND permite que a DeepSeek evite a recomputação de KVs. Por sua vez, a DeepSeek cria um grande mercado para NAND e SSD - não apenas da YMTC, mas de todos os outros também.

No entanto, não se trata apenas de NAND e SSD:

A memória LPDDR tem grande potencial para ser um lugar onde você armazena pesos e os transmite para o HBM conforme necessário, reduzindo a pressão sobre a demanda de HBM. A equipe do SGLang publicou um ótimo blog sobre isso. Apresento o diagrama abaixo para explicar como o esquema funciona.

Embora a DeepSeek não tenha feito nada especificamente para isso - sua arquitetura MoE com um grande número de especialistas e pesos de 4 bits facilita a implementação deste esquema.

Esta inovação combinada com o Cache KV supercompacto (sem perdas) reduz significativamente a demanda de HBM.

Quem fabrica LPDDR na China? A CXMT. Eles estão apenas 0,5 geração atrás em velocidade para LPDDR e 1 geração atrás em densidade. Não muito longe! Além do NAND abundante, o ecossistema chinês terá LPDDR abundante em um futuro próximo. Isso pode aliviar a pressão sobre a computação? SIM. Continue lendo..

O uso inteligente da memória também reduz a pressão sobre GPUs/ASICs

É bastante claro que o uso de NAND para cache KV permite manter o cache KV por mais tempo, reduz a pressão sobre o HBM e ajuda a evitar a recomputação do cache KV, o que alivia a pressão computacional sobre GPUs e ASICs. O LPDDR também pode ajudar de maneira semelhante, além de ser um lugar de onde os pesos podem ser transmitidos "em tempo hábil"? A resposta é SIM.

O LPDDR suporta armazenar uma grande quantidade do que é conhecido como "Engram". Em seu artigo sobre Engram, a DeepSeek mostrou que, enquanto o MoE escala a capacidade por meio de computação condicional, os Transformers carecem de uma primitiva nativa para consulta de conhecimento. Eles são forçados a simular ineficientemente a recuperação por meio de computação. Eles introduzem o Engram, um módulo que moderniza a incorporação N-gram clássica em uma consulta baseada em hash O(1), criando um eixo de esparsidade complementar que eles chamam de memória condicional. Isso economiza computação, mas precisa de memória para hospedar a tabela de incorporações, que pode ser grande. É uma substituição clássica de memória por computação, mas com a percepção de que o lado da "memória" é dramaticamente mais barato por bit recuperado (uma consulta LPDDR vs. uma passagem direta completa pelas camadas do transformer), tornando-se uma troca muito favorável em escala. É assim que eles economizam em computação trocando por memória!!!

Trocas que valem a pena: As GPUs e ASICs chinesas sempre ficarão atrás em FLOPs brutos em comparação com as GPUs ocidentais devido à falta da mesma densidade de transistores por chiplet (sem EUV). Eles também estão bastante atrasados em empacotamento. Portanto, essas trocas valem bem a pena, particularmente se você puder fabricar NAND e memória LPDDR abundantes.

A estratégia de longo prazo da DeepSeek recapitulada:

A partir de todas essas inovações, o jogo da DeepSeek não parece ser o lucro imediato de algumas centenas de milhões, dadas todas as escolhas que fizeram (ainda sem multimodalidade, sem modelos de voz, vídeo - o que é isso?) - mas eles estão jogando um jogo paciente de 10 trilhões de dólares para viabilizar um ecossistema de hardware alternativo.

Não se trata apenas de tornar os players chineses de memória participantes-chave na arena de hardware de IA chinesa e global, mas também de reduzir a própria demanda de recursos, para ser capaz de treinar e servir modelos de IA de forma econômica - isso permitirá que muitos fabricantes de GPU/ASIC, bem como fabricantes de chips de rede, se tornem opções viáveis. Todas essas inovações também ajudarão o ecossistema de código aberto ocidental, bem como os novos fabricantes de hardware.

Todos os sinais estão lá. Vamos apenas recapitular em detalhes todas as inovações que eles criaram:

1. Mistura de Especialistas (MoE) e MLA introduzidas no DeepSeek V2. O MoE tornou possível treinar modelos muito inteligentes com 40 a 50% menos computação. O MLA tornou possível reduzir o cache KV em 90%. Isso tornou o descarregamento do cache KV para SSD bastante eficiente. Essas ideias foram introduzidas em seu artigo de maio de 2024, DeepSeek V2. Posteriormente, desbloqueou o treinamento do DeepSeek V3, que era quase fechado na época com apenas 2048 GPUs H800 nerfadas.

1. DSA (introduzido no DeepSeek V3.2 Exp) para reduzir a computação para cenários de contexto longo e também aliviar a pressão sobre a largura de banda do HBM. Ele garante que a computação não cresça com o contexto crescente. Veja os gráficos abaixo - o tempo de processamento para o DeepSeek-v3.2 permanece plano com o contexto.

1. mHC introduzido em dezembro de 2025 no artigo mHC: Manifold-Constrained Hyper-Connections. O mHC é uma inovação de macroarquitetura da DeepSeek que reinventa como a informação flui entre as camadas do transformer. Em vez da conexão residual padrão (x + F(x)) usada desde o ResNet, o mHC expande o fluxo residual em múltiplas rodovias de informação paralelas e permite a mistura aprendida entre elas — mas restringe crucialmente as matrizes de mistura para serem duplamente estocásticas (via projeção Sinkhorn-Knopp no politopo de Birkhoff), o que garante matematicamente que a magnitude do sinal seja preservada em profundidade arbitrária.

• Isso resolve a instabilidade catastrófica que atormentava as Hyper-Connections sem restrições (inicialmente inventadas na ByteDance), onde a amplificação do sinal explodia para 3000× na escala de 27B, colapsando o treinamento completamente.
• O custo computacional é mínimo: o mHC adiciona apenas 6,7% de overhead de tempo de treinamento, pois não altera os FLOPs das camadas de atenção ou FFN, apenas como suas saídas são roteadas entre as camadas.
• Os ganhos de desempenho, no entanto, são substanciais: com 27B de parâmetros, o mHC entrega +7,2 pontos no raciocínio BIG-Bench Hard, +3,2 no DROP, +2,8 no GSM8K de matemática e +1,4 no MMLU de conhecimento geral, tudo no mesmo tamanho de modelo e orçamento computacional quase idêntico.

Em essência, o mHC alcança inteligência significativamente maior por parâmetro, dando à rede uma topologia mais rica e expressiva para rotear informações entre as camadas, pagando quase nada em FLOPs adicionais.

1. CSA, HSA (introduzidos no DeepSeek V4 em abril de 2026) para reduzir a necessidade de KV em mais 90% através da compressão de tokens KV e reduzir os FLOPs necessários em grande margem, aliviando a pressão tanto no HBM quanto na GPU/ASIC.

1. Engram introduzido no primeiro trimestre de 2026, onde eles trocam memória (memória LPDDR) por computação (de certa forma). Como o gráfico detalhado a seguir mostra o ganho de desempenho devido ao Engram com o mesmo orçamento geral de parâmetros.

1. Foco extremo na sobreposição de Computação e Comunicação, e inovações como o Dual Path podem ser explicadas como uma solução para a restrição de recursos. Mas a DeepSeek vai além, aconselhando os fornecedores de hardware em seu design de ASIC para garantir que não desperdicem recursos de silício preciosos. Isso é do artigo DeepSeek V4.

1. O investimento no TileLang aponta na direção consistente de que eles não estão apenas lidando com sua própria escassez de computação, mas estão tornando o ecossistema de hardware chinês competitivo com o ecossistema ocidental. Com o Tilelang, é possível desenvolver um kernel (código para computação) uma vez e executá-lo com sucesso em múltiplas plataformas de hardware para as quais o backend do TileLang está disponível. Espero que todos os outros laboratórios chineses se juntem - ajudando os fabricantes de hardware chineses a lidar indiretamente com o "fosso do CUDA". Isso também desbloqueia mais hardware ocidental, como AMD.

Nota: muitas plataformas de IA na China fornecem compatibilidade com CUDA ou uma camada de tradução CUDA: Moore Threads, MetaX, Biren e Iluvatar CoreX são os chips chineses mais compatíveis com CUDA por meio de camadas de tradução. Eles não precisam do TileLang (em teoria).

RL e RSI em larga escala:

Com acesso a mais computação (devido a mais opções de hardware em potencial) e redução na demanda de computação, a DeepSeek pode assumir projetos de treinamento muito mais ambiciosos; particularmente o pós-treinamento com RL. O RL envolve a geração de um grande número de trajetórias - gerando trilhões de tokens. Pode ficar caro muito rápido. Além disso, para treinar modelos de contexto de 1M, você precisa gerar trajetórias desse comprimento. O treinamento de modelos para trajetórias tão longas permite tarefas de horizonte longo.

Além disso, a disponibilidade de mais hardware na DeepSeek devido ao aumento de opções permitirá a pesquisa automatizada (RSI). O RSI envolve a própria IA projetando e realizando experimentos. A abordagem tem um grande número de tentativas e erros e pode se tornar cara muito rapidamente. No entanto, o RSI é importante para explorar todo o espaço de design. A DeepSeek precisará ser capaz de realizar RSI antes de atingir a AGI, seguida pela ASI.

O que a DeepSeek faz hoje, o resto da indústria faz amanhã:

As inovações da DeepSeek em torno de Mistura de Especialistas, MLA, DSA foram adotadas por outros laboratórios de IA ao redor do mundo e da China.

Por exemplo, a ZAI - fabricante da família de modelos GLM - usa MLA e DSA. A Kimi (Moonshot) adotou o MLA e não hesita em dizer que sua arquitetura é baseada na arquitetura da DeepSeek. Em troca, a DeepSeek usa o otimizador Muon, que foi usado pela primeira vez pela Kimi (Moonshot) para treinamento em larga escala.

(NOTA:

• O MoE foi inventado no Google em 2017 com Naom Shazeer como autor principal. A DeepSeek o aplicou em escala massiva e inventou seus próprios truques.

• O otimizador Muon (MomentUm Orthogonalized by Newton-Schulz) foi criado pelo pesquisador de aprendizado de máquina Keller Jordan no final de 2024. A equipe da Kimi (Moonshot) foi a primeira a usá-lo em escala massiva.)

E quanto a ganhar $$$?:

Vamos estudar um exemplo interessante da OpenAI. A OpenAI recebeu warrants/opções para comprar ações da AMD e da Cerebras a baixo preço, com base em marcos de consumo. É um grande negócio para a AMD e a Cerebras. Com a OpenAI comprometida com elas, é provável que tenham sucesso a longo prazo.

Citação do anúncio da AMD: "Como parte do acordo, para alinhar ainda mais os interesses estratégicos, a AMD emitiu para a OpenAI um warrant para até 160 milhões de ações ordinárias da AMD, estruturado para ser adquirido à medida que marcos específicos sejam alcançados. A primeira parcela é adquirida com a implantação inicial de 1 gigawatt, com parcelas adicionais sendo adquiridas à medida que as compras aumentem para até 6 gigawatts. A aquisição está ainda vinculada ao atingimento de certos alvos de preço de ações pela AMD e ao cumprimento, pela OpenAI, dos marcos técnicos e comerciais necessários para viabilizar as implantações da AMD em escala."

Prevejo que a DeepSeek celebrará acordos semelhantes com múltiplos fabricantes chineses de memória, ASIC, CPU e pilha de rede e trabalhará em estreita colaboração com eles para tornar suas pilhas de hardware viáveis para as principais cargas de trabalho de IA.

Dado que a avaliação combinada de todas as ações de IA ocidentais (incluindo aliados do Leste Asiático) excede em muito 10 trilhões de dólares. Essa abordagem - colaboração que concede participação acionária - permite que a DeepSeek ajude a criar uma indústria igualmente grande na China e reivindique sua fatia do bolo, ao mesmo tempo em que alcança uma avaliação de 1 trilhão de dólares para si mesma.

Isso permitirá que eles ganhem muito mais $$$ enquanto também alcançam seu objetivo, em suas palavras, de "AGI para todos". Liang Wenfeng - um grande fã de Jim Simons - é capitalista inteligente demais para perder isso!

Esta é a única coisa que faz sentido, se você olhar para tudo o que a DeepSeek fez até agora...

Um blog detalhado sobre essas inovações será lançado neste fim de semana. Siga meu substack https://polymath707.substack.com/ se estiver interessado...