A Grande Estratégia de 10 Trilhões de Dólares da DeepSeek

Você já se perguntou como a DeepSeek pode ganhar dinheiro, e muito?

Eles não criaram planos de codificação competitivos como GLM, MoonShot e MiniMax. Eles não têm modelos multimodais, de áudio ou vídeo. Até hoje, eles não têm um harness (embora tenham começado a contratar recentemente para construir um). A DeepSeek também está comprometida com o open source no longo prazo e fica muito feliz em compartilhar seu segredo. Isso é loucura? É um desperdício total de dinheiro? Os investidores que estão prestes a colocar 10 bilhões de dólares neles estão jogando dinheiro no ralo?

Não – muito pelo contrário, na minha humilde opinião!!!

Aqui apresento observações sobre o que eles fizeram até agora e uma estratégia que parecem estar seguindo. Os olhos de Liang Wenfeng (CEO da DeepSeek) parecem estar em um prêmio muito maior, e eles podem alcançar uma avaliação de 1 trilhão de dólares, enquanto ajudam a criar uma indústria de 10 trilhões de dólares!

Revisitando a Jornada do Herói da DeepSeek

A DeepSeek sempre nadou contra a corrente de construir modelos incrementalmente melhores e tentar vender aplicações imediatas – por exemplo, planos de codificação. Escrevi este tweet viral em 27 de janeiro de 2025 sobre o que via como a Jornada do Herói da DeepSeek. A história está ficando cada vez mais interessante.

• Enquanto outros tentavam construir modelos densos, a DeepSeek foi atrás de modelos de Mistura de Especialistas (MoE), que são difíceis de treinar.
• Eles trabalharam a partir de uma abordagem de 'primeiros princípios' e inventaram um novo algoritmo, o GRPO, para substituir o dominante PPO para Aprendizagem por Reforço (RL), que era mais caro de implementar.
• Descobriram a Aprendizagem por Reforço com Recompensas Verificadas (RLVR) como uma estratégia chave para melhorar a capacidade de raciocínio dos modelos.
• Criaram uma estratégia simples para Decodificação Especulativa através da "Predição de Múltiplos Tokens", que também densificou o sinal de treinamento.
• Aperfeiçoaram pipelines de "ZERO bolha" para melhorar o uso dos recursos limitados de GPU.
• Publicaram um Balanceador de Carga de Especialistas para facilitar a implantação de modelos MoE para todos. Particularmente com a estratégia "Wide Expert Parallel", os modelos podem ser servidos de forma muito mais econômica, pois é possível ter lotes grandes.
• Inventaram MLA, DSA, CSA, HCA para reduzir a necessidade de Cache KV e manter a demanda computacional quase constante diante do crescente contexto.
• Inventaram o Engram para trocar memória por computação.
• Inventaram o mHC para alcançar treinamento estável à medida que o tamanho do modelo aumenta. E a lista continua....

Na estrutura da Jornada do Herói (a mais universal), o herói nunca decide qual será sua jornada. Ele aprende ao longo do caminho e descobre uma grande missão para si mesmo, completando-a contra todas as probabilidades. Ele encontra muitos detratores, mas os ignora. Encontra muitos agentes de má-fé. Tem um grande defeito ou limitação – mas os supera para cumprir sua missão. Enfrenta desafios que parecem intransponíveis, mas descobre como formar alianças e usar recursos preciosos com sabedoria. É isso que faz o público torcer pelo herói. É isso que conquista para a DeepSeek sua base de fãs, respeito global e também detratores.

Como mostrarei em detalhes, a DeepSeek está nessa jornada há tempo suficiente e já descobriu seu destino final: não é vender planos de codificação, mas sim viabilizar um ecossistema de hardware de IA chinês de 10 trilhões de dólares e alcançar uma avaliação de 1 trilhão de dólares para si mesma. Ao fazer isso, eles também permitirão a entrada de novos players no ecossistema de hardware ocidental.

Comentários e críticas são bem-vindos: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Começando com um pouco de diversão com cálculos de Cache KV:

Leia este tweet oportuno de @SemiAnalysis_ :

Vamos fazer alguns cálculos divertidos de cache KV primeiro. Não se preocupe se você não gosta de Matemática. Usaremos a calculadora de Cache KV lançada recentemente para ver a economia de Cache KV possibilitada pelo DeepSeek V4 Pro e compará-la com os modelos mais recentes GLM e Qwen.

Eu calculo para um contexto de 1M. Assumo precisão KV de 8 bits e precisão do indexador de 16 bits. Você pode brincar com a calculadora.

https://kvcache.ai/tools/kv-cache-calculator/

Para contexto de 1M:

1. DeepSeek V4 precisa de apenas 5,48 GB de HBM
2. GML5 precisa de 60 GB de HBM
3. Qwen3-235B-A22B precisa de enormes 89 GB

Observe:

1. DeepSeek é um modelo de 1,6 T parâmetros,
2. GLM5 tem cerca de 700B parâmetros, já usa MLA e DSA da DeepSeek; embora não a atenção comprimida mais recente
3. Qwen3-235B-A22B tem cerca de 235B e usa atenção GQA

A DeepSeek fez uma contribuição fundamental para aliviar a pressão sobre a memória. Se amplamente adotada, essa inovação pode tornar agentes de longo horizonte altamente econômicos e desbloquear o próximo conjunto de casos de uso.

O método por trás da loucura:

Este tamanho pequeno de cache KV – sem comprometer a qualidade – é a razão pela qual eles podem oferecer cache de longa duração a um preço tão ridiculamente baixo – menos de 3% do preço de Cache hits para Sonnet 4.6 – e eles o mantêm por várias horas.

A pequena quantidade de cache para tarefas de longo horizonte permite o descarregamento para SSDs e o recarregamento de forma muito econômica. Isso reduz a necessidade de HBM, que é escassa e a memória mais difícil de fabricar da perspectiva da indústria de hardware de IA chinesa. A DeepSeek também desenvolveu técnicas para carregar o cache KV mais rapidamente do SSD, conforme descrito no artigo Dual Path.

Quem é o beneficiário imediato da compressão do Cache KV?:

Quem fornece SSD em grande quantidade? Lembre-se que a YMCT está emergindo como um gigante do 3D NAND. O NAND permite que a DeepSeek evite a recomputação de KVs. Por sua vez, a DeepSeek cria um grande mercado para NAND e SSD – não apenas da YMTC, mas de todos os outros também.

No entanto, não se trata apenas de NAND e SSD:

A memória LPDDR tem grande potencial para ser um local onde você armazena pesos e os transmite para o HBM conforme necessário, reduzindo a pressão sobre a demanda de HBM. A equipe SGLang publicou um ótimo blog sobre isso. Apresento abaixo um diagrama para explicar como o esquema funciona.

Embora a DeepSeek não tenha feito nada especificamente para isso – sua arquitetura MoE com um grande número de especialistas e pesos de 4 bits facilita a implementação deste esquema.

Esta inovação, combinada com o Cache KV supercompacto (sem perdas), reduz significativamente a demanda de HBM.

Quem na China fabrica LPDDR? A CXMT. Eles estão apenas 0,5 geração atrás em velocidade para LPDDR e 1 geração atrás em densidade. Não muito longe! Além do NAND abundante, o ecossistema chinês terá LPDDR abundante em um futuro próximo. Isso pode aliviar a pressão sobre a computação? SIM. Acompanhe..

O uso inteligente da memória também reduz a pressão sobre GPUs/ASICs

É bastante claro entender que o uso de NAND para cache KV permite manter o cache KV por mais tempo, reduz a pressão sobre o HBM e ajuda a evitar a recomputação do cache KV, o que alivia a pressão computacional sobre GPUs e ASICs. O LPDDR também pode ajudar de forma semelhante, além de ser um local de onde os pesos podem ser transmitidos "em tempo real"? A resposta é SIM.

O LPDDR suporta o armazenamento de uma grande quantidade do que é conhecido como "Engram". Em seu artigo sobre Engram, a DeepSeek mostrou que, enquanto o MoE escala a capacidade por meio de computação condicional, os Transformers carecem de uma primitiva nativa para consulta de conhecimento. Eles são forçados a simular ineficientemente a recuperação por meio da computação. Eles introduzem o Engram, um módulo que moderniza a incorporação clássica de N-gram em uma consulta baseada em hash O(1), criando um eixo de esparsidade complementar que eles chamam de memória condicional. Isso economiza computação, mas precisa de memória para hospedar a tabela de incorporações, que pode ser grande. É uma clássica substituição memória-computação, mas com a percepção de que o lado da "memória" é dramaticamente mais barato por bit recuperado (uma consulta em LPDDR vs. uma passagem completa pelas camadas do transformer), tornando-se uma troca muito favorável em escala. É assim que eles economizam em computação trocando por memória!!!

Trocas que valem a pena: As GPUs e ASICs chinesas sempre ficarão atrás em FLOPs brutos em comparação com as GPUs ocidentais devido à falta da mesma densidade de transistores por chiplet (sem EUV). Eles também estão bastante atrasados em empacotamento. Portanto, tais trocas valem bem a pena, particularmente se você pode fabricar NAND e memória LPDDR abundantes.

A jogada de longo prazo da DeepSeek recapitulada:

Considerando todas essas inovações, o jogo da DeepSeek não parece ser o lucro imediato de algumas centenas de milhões, dadas todas as escolhas que fizeram (ainda sem multimodalidade, sem modelos de voz, vídeo – o que é isso?) – mas eles estão jogando um jogo paciente de 10 trilhões de dólares para viabilizar um ecossistema de hardware alternativo.

Não se trata apenas de tornar os players chineses de memória peças-chave na arena de hardware de IA chinesa e global, mas também de reduzir a própria demanda de recursos, para ser capaz de treinar e servir modelos de IA de forma econômica – isso permitirá que muitos fabricantes de GPU/ASIC, bem como fabricantes de chips de rede, se tornem opções viáveis. Todas essas inovações também ajudarão o ecossistema de código aberto ocidental, bem como novos fabricantes de hardware.

Todos os sinais estão lá. Vamos apenas recapitular em detalhes todas as inovações que eles criaram:

1. Mistura de Especialistas (MoE) e MLA introduzidas no DeepSeek V2. O MoE tornou possível treinar modelos muito inteligentes com 40 a 50% menos computação. O MLA tornou possível reduzir o cache KV em 90%. Isso tornou o descarregamento do cache KV para SSD bastante eficiente. Essas ideias foram introduzidas em seu artigo de maio de 2024 DeepSeek V2. Mais tarde, desbloqueou o treinamento do DeepSeek V3, que era quase fechado na época com apenas 2048 GPUs H800 nerfadas.

1. DSA (introduzido no DeepSeek V3.2 Exp) para reduzir a computação para cenários de contexto longo e também aliviar a pressão sobre a largura de banda do HBM. Garante que a computação não cresça com o aumento do contexto. Veja os gráficos abaixo – o tempo de processamento para DeepSeek-v3.2 permanece plano com o contexto.

1. mHC introduzido em dezembro de 2025 no artigo mHC: Manifold-Constrained Hyper-Connections. O mHC é uma inovação de macroarquitetura da DeepSeek que reinventa como a informação flui entre as camadas do transformer. Em vez da conexão residual padrão (x + F(x)) usada desde o ResNet, o mHC expande o fluxo residual em múltiplas rodovias de informação paralelas e permite a mistura aprendida entre elas – mas, crucialmente, restringe as matrizes de mistura para serem duplamente estocásticas (via projeção Sinkhorn-Knopp no politopo de Birkhoff), o que garante matematicamente que a magnitude do sinal seja preservada em profundidade arbitrária.

• Isso resolve a instabilidade catastrófica que afligia as Hyper-Connections irrestritas (inicialmente inventadas na ByteDance), onde a amplificação do sinal explodia para 3000× na escala de 27B, colapsando o treinamento completamente.
• O custo computacional é mínimo: o mHC adiciona apenas 6,7% de overhead de tempo de treinamento, pois não altera os FLOPs das camadas de atenção ou FFN, apenas como suas saídas são roteadas entre as camadas.
• Os ganhos de desempenho, no entanto, são substanciais: com 27B parâmetros, o mHC entrega +7,2 pontos no raciocínio BIG-Bench Hard, +3,2 no DROP, +2,8 no GSM8K de matemática e +1,4 no conhecimento geral MMLU, tudo no mesmo tamanho de modelo e orçamento computacional quase idêntico.

Em essência, o mHC alcança inteligência significativamente maior por parâmetro ao dar à rede uma topologia mais rica e expressiva para rotear informações entre as camadas, pagando quase nada em FLOPs adicionais.

1. CSA, HSA (introduzidas no DeepSeek V4 em abril de 2026) para reduzir a necessidade de KV em mais 90% ao comprimir os tokens KV e reduzir os FLOPs necessários em grande margem, aliviando a pressão tanto no HBM quanto na GPU/ASIC.

1. Engram introduzido no primeiro trimestre de 2026, onde eles trocam memória (memória LPDDR) por computação (de certa forma). Como o gráfico detalhado a seguir mostra, o ganho de desempenho devido ao Engram com o mesmo orçamento geral de parâmetros.

1. Foco extremo na sobreposição de Computação e Comunicação, e inovações como o Dual Path podem ser explicadas como uma solução para a restrição de recursos. Mas a DeepSeek vai além, aconselhando fornecedores de hardware em seu design de ASIC para garantir que não desperdicem preciosos recursos de silício. Isso é do artigo DeepSeek V4.

1. O investimento no TileLang aponta na direção consistente de que eles não estão apenas lidando com sua própria escassez de computação, mas tornando o ecossistema de hardware chinês competitivo com o ecossistema ocidental. Com o TileLang, é possível desenvolver um kernel (código para computação) uma vez e executá-lo com sucesso em múltiplas plataformas de hardware para as quais o backend do TileLang está disponível. Espero que todos os outros laboratórios baseados na China se juntem – ajudando os fabricantes de hardware chineses a lidar indiretamente com o "fosso do CUDA". Isso também desbloqueia mais hardware ocidental, como AMD.

Nota: muitas plataformas de IA na China fornecem compatibilidade com CUDA ou uma camada de tradução CUDA: Moore Threads, MetaX, Biren e Iluvatar CoreX são os chips chineses mais compatíveis com CUDA por meio de camadas de tradução. Eles não precisam do TileLang (em teoria).

RL em grande escala e RSI:

Com acesso a mais computação (devido a mais opções de hardware em potencial) e redução na demanda de computação, a DeepSeek pode assumir projetos de treinamento muito mais ambiciosos; particularmente o treinamento pós-RL. O RL envolve a geração de um grande número de trajetórias – gerando trilhões de tokens. Pode ficar caro muito rapidamente. Além disso, para treinar modelos com contexto de 1M, você precisa gerar trajetórias desse comprimento. Treinar modelos para trajetórias tão longas possibilita tarefas de longo horizonte.

Além disso, a disponibilidade de mais hardware na DeepSeek devido ao aumento de opções permitirá a pesquisa automatizada (RSI). A RSI envolve a própria IA projetando e realizando experimentos. A abordagem tem um grande número de tentativas e erros e pode se tornar muito cara rapidamente. No entanto, a RSI é importante para explorar todo o espaço de design. A DeepSeek precisará ser capaz de fazer RSI antes de atingir a AGI, seguida pela ASI.

O que a DeepSeek faz hoje, o resto da indústria fará amanhã:

As inovações da DeepSeek em torno de Mistura de Especialistas, MLA, DSA foram adotadas pelo resto dos laboratórios de IA em todo o mundo e da China.

Por exemplo, a ZAI – fabricante da família de modelos GLM – usa MLA e DSA. A Kimi (Moonshot) adotou a MLA e não hesita em dizer que sua arquitetura é baseada na arquitetura da DeepSeek. Em troca, a DeepSeek usa o otimizador Muon, que foi usado pela primeira vez pela Kimi (Moonshot) para treinamento em grande escala.

(NOTA:

• O MoE foi inventado no Google em 2017 com Naom Shazeer como autor principal. A DeepSeek o aplicou em escala massiva e inventou seus próprios truques.

• O otimizador Muon (MomentUm Orthogonalized by Newton-Schulz) foi criado pelo pesquisador de machine learning Keller Jordan no final de 2024. A equipe da Kimi (Moonshot) foi a primeira a usá-lo em grande escala.)

E quanto a ganhar $$$?:

Vamos estudar um exemplo interessante da OpenAI. A OpenAI recebeu warrants/opções para comprar ações da AMD e da Cerebras a um preço baixo, com base em marcos de consumo. É um ótimo negócio para a AMD e a Cerebras. A OpenAI estar comprometida com elas torna provável que elas tenham sucesso a longo prazo.

Citação do anúncio da AMD: "Como parte do acordo, para alinhar ainda mais os interesses estratégicos, a AMD emitiu para a OpenAI um warrant para até 160 milhões de ações ordinárias da AMD, estruturado para ser adquirido à medida que marcos específicos são alcançados. A primeira parcela é adquirida com a implantação inicial de 1 gigawatt, com parcelas adicionais sendo adquiridas à medida que as compras escalam para até 6 gigawatts. A aquisição está ainda vinculada ao atingimento de certos alvos de preço de ações pela AMD e ao cumprimento dos marcos técnicos e comerciais pela OpenAI necessários para viabilizar as implantações da AMD em escala."

Prevejo que a DeepSeek celebrará tais acordos com múltiplos fabricantes chineses de memória, ASIC, CPU e pilha de rede e trabalhará em estreita colaboração com eles para tornar suas pilhas de hardware viáveis para cargas de trabalho líderes de IA.

Dado que a avaliação combinada de todas as ações de IA ocidentais (incluindo aliados do Leste Asiático) excede em muito 10 trilhões de dólares. Esta abordagem – colaboração que concede participação acionária – permite que a DeepSeek ajude a criar uma indústria igualmente grande na China e reivindique sua fatia do bolo, enquanto alcança uma avaliação de 1 trilhão de dólares para si mesma.

Isso permitirá que eles ganhem muito mais $$$ enquanto também alcançam seu objetivo, em suas palavras, de "AGI para todos". Liang Wenfeng – um grande fã de Jim Simons – é um capitalista esperto demais para perder isso!

Esta é a única coisa que faz sentido, se você olhar para tudo o que a DeepSeek fez até agora...

Um blog detalhado sobre essas inovações será publicado neste fim de semana. Siga meu substack https://polymath707.substack.com/ se estiver interessado...