La gran estrategia de 10 billones de dólares de DeepSeek

¿Alguna vez te has preguntado cómo DeepSeek podría ganar dinero, y mucho?

No crearon planes de codificación competitivos como GLM, MoonShot y MiniMax. No tienen modelos multimodales, de audio ni de video. Hasta ahora no tienen un harness (aunque recientemente empezaron a contratar para construir uno). DeepSeek también está comprometida con el open source a largo plazo y está más que feliz de compartir su salsa secreta. ¿Esto es una locura? ¿Es un enorme desperdicio de dinero? ¿Acaso los inversores que están a punto de poner 10 mil millones de dólares en ellos están tirando su dinero a la basura?

No, todo lo contrario, ¡en mi humilde opinión!

Aquí presento observaciones sobre lo que han hecho hasta ahora y una estrategia que parecen estar siguiendo. Los ojos de Liang Wenfeng (CEO de DeepSeek) parecen estar puestos en un premio mucho mayor y podrían alcanzar una valoración de 1 billón de dólares, mientras ayudan a crear una industria de 10 billones de dólares.

Revisando el Viaje del Héroe de DeepSeek

DeepSeek siempre ha ido contra la corriente de construir modelos incrementalmente mejores y tratar de vender aplicaciones inmediatas, por ejemplo, planes de codificación. Escribí este tweet viral el 27 de enero de 2025 sobre lo que veía como el Viaje del Héroe de DeepSeek. La historia se vuelve cada vez más interesante.

• Cuando la gente intentaba construir modelos densos, DeepSeek optó por modelos de Mezcla de Expertos (MoE) que eran difíciles de entrenar.
• Trabajaron desde un enfoque de 'primeros principios' e inventaron el nuevo algoritmo GRPO para reemplazar el algoritmo PPO dominante para el Aprendizaje por Refuerzo (RL), que era más caro de implementar.
• Descubrieron el Aprendizaje por Refuerzo a partir de Recompensas Verificadas (RLVR) como una estrategia clave para mejorar la capacidad de razonamiento de los modelos.
• Idearon una estrategia simple para la Decodificación Especulativa a través de la "Predicción de Múltiples Tokens", que también densificó la señal de entrenamiento.
• Perfeccionaron los pipelines de "burbuja cero" para mejorar el uso de recursos limitados de GPU.
• Publicaron el Balanceador de Carga de Expertos para que todos puedan implementar fácilmente modelos de Mezcla de Expertos. En particular, con la estrategia de "Paralelismo Amplio de Expertos", los modelos se pueden servir de manera mucho más económica ya que se pueden tener lotes grandes.
• Inventaron MLA, DSA, CSA, HCA para reducir la necesidad de KV Cache y mantener la demanda computacional casi constante frente al crecimiento del contexto.
• Inventaron Engram para intercambiar memoria por cómputo.
• Inventaron mHC para lograr un entrenamiento estable a medida que crece el tamaño del modelo. ¡Y la lista continúa...!

En la estructura narrativa del Viaje del Héroe (la más universal), el héroe nunca decide cuál será su viaje. Aprende en el camino, descubre una gran misión para sí mismo y la completa contra todo pronóstico. Se encuentra con muchos detractores, pero los ignora. Se topa con actores de mala fe. Tiene un gran defecto o limitación, pero los supera para cumplir su misión. Se enfrenta a desafíos que parecen insuperables, pero descubre cómo hacer alianzas y cómo usar los recursos valiosos sabiamente. Esto es lo que hace que la audiencia apoye al héroe. Esto es lo que le ha ganado a DeepSeek su base de seguidores, respeto global y también detractores.

Como les mostraré en detalle, DeepSeek ha estado en este viaje el tiempo suficiente y ha descubierto su destino final: no es vender planes de codificación, sino habilitar un ecosistema de hardware de IA chino de 10 billones de dólares y alcanzar una valoración de 1 billón de dólares para sí misma. Al hacerlo, también permitirán la entrada de muchos nuevos actores en el ecosistema de hardware occidental.

Comentarios y críticas bienvenidos: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

Empecemos con algo de diversión con cálculos de KV Cache:

Lean este oportuno tweet de @SemiAnalysis_:

Primero, hagamos algunos cálculos divertidos de la caché KV. No se preocupen si no les gustan las matemáticas. Usaremos la calculadora de KV Cache lanzada recientemente para ver el ahorro de KV Cache que hace posible DeepSeek V4 Pro y compararlo con los últimos modelos GLM y Qwen.

Calculo para un contexto de 1M. Asumo precisión KV de 8 bits y precisión del indexador de 16 bits. Pueden jugar con la calculadora.

https://kvcache.ai/tools/kv-cache-calculator/

Para 1M de contexto:

1. DeepSeek V4 necesita solo 5.48 GB de HBM
2. GLM5 necesita 60 GB de HBM
3. Qwen3-235B-A22B necesita la friolera de 89 GB

Tengan en cuenta que:

1. DeepSeek es un modelo de 1.6T parámetros
2. GLM5 tiene alrededor de 700B parámetros, ya usa MLA y DSA de DeepSeek; aunque no la atención comprimida más reciente
3. Qwen3-235B-A22B tiene alrededor de 235B y usa atención GQA

DeepSeek ha hecho una contribución fundamental para aliviar la presión sobre la memoria. Si se adopta ampliamente, esta innovación puede hacer que los agentes de horizonte largo sean muy económicos y desbloquear el siguiente conjunto de casos de uso.

El método detrás de la locura:

Este pequeño tamaño de KV Cache, sin comprometer la calidad, es la razón por la que pueden ofrecer una caché de larga duración a un precio tan ridículamente bajo: menos del 3% del precio de los aciertos de caché de Sonnet 4.6, y la mantienen durante varias horas.

Una pequeña cantidad de caché para tareas de horizonte largo permite descargarla a SSDs y recargarla de manera muy rentable. Esto reduce la necesidad de HBM, que escasea y es la memoria más difícil de fabricar desde la perspectiva de la industria de hardware de IA china. DeepSeek también ha desarrollado técnicas para cargar la KV Cache más rápido desde SSD, como se describe en el artículo de Dual Path.

¿Quién es el beneficiario inmediato de la compresión de KV Cache?

¿Quién suministra SSD en grandes cantidades? Recuerden que YMCT está emergiendo como un gigante de NAND 3D. NAND permite a DeepSeek evitar la recomputación de KVs. A su vez, DeepSeek crea un gran mercado para NAND y SSD, no solo de YMTC sino también de todos los demás.

Sin embargo, no se trata solo de NAND y SSD:

La memoria LPDDR tiene un gran potencial para ser un lugar donde se almacenen los pesos y se transmitan al HBM según sea necesario, reduciendo la presión sobre la demanda de HBM. El equipo de SGLang publicó un excelente blog al respecto. Presento a continuación un diagrama para explicar cómo funciona el esquema.

Si bien DeepSeek no hizo nada específicamente para esto, su arquitectura MoE con un gran número de expertos y pesos de 4 bits facilita la implementación de este esquema.

Esta innovación, combinada con una KV Cache súper compacta (sin pérdidas), reduce significativamente la demanda de HBM.

¿Quién fabrica LPDDR en China? CXMT. Están solo a 0.5 generaciones de distancia en velocidad para LPDDR y a 1 generación de distancia en densidad. ¡No muy lejos! Además del abundante NAND, el ecosistema chino tendrá abundante LPDDR en un futuro cercano. ¿Puede esto aliviar la presión sobre el cómputo? SÍ. Sigan leyendo...

El uso inteligente de la memoria también reduce la presión sobre las GPU/ASIC

Está bastante claro que el uso de NAND para la KV Cache permite mantener la KV Cache por más tiempo, reduce la presión sobre el HBM y ayuda a evitar la recomputación de la KV Cache, lo que alivia la presión de cómputo sobre las GPU y ASIC. ¿Puede LPDDR también ayudar de manera similar, además de ser un lugar desde donde se pueden transmitir los pesos "justo a tiempo"? La respuesta es SÍ.

LPDDR es compatible con el almacenamiento de grandes cantidades de lo que se conoce como "Engram". En su artículo de Engram, DeepSeek mostró que, si bien MoE escala la capacidad mediante cómputo condicional, los Transformers carecen de una primitiva nativa para la búsqueda de conocimiento. Se ven obligados a simular ineficientemente la recuperación a través del cómputo. Introducen Engram, un módulo que moderniza la incrustación clásica de N-gramas en una búsqueda basada en hash O(1), creando un eje de escasez complementario que llaman memoria condicional. Esto ahorra cómputo, pero necesita memoria para alojar la tabla de incrustaciones, que puede ser de gran tamaño. Es una sustitución clásica de memoria por cómputo, pero con la idea de que el lado de la "memoria" es dramáticamente más barato por bit recuperado (una búsqueda en LPDDR frente a un paso directo completo a través de las capas del transformer), lo que lo convierte en un intercambio muy favorable a escala. ¡Así es como ahorran en cómputo intercambiándolo por memoria!

Vale la pena hacer estas compensaciones: las GPU y ASIC chinas siempre estarán rezagadas en FLOPs brutos en comparación con las GPU occidentales debido a que no tienen la misma densidad de transistores por chiplete (sin EUV). También están bastante atrasados en empaquetado. Por lo tanto, este tipo de compensaciones valen la pena, particularmente si se puede fabricar NAND y memoria LPDDR en abundancia.

La estrategia a largo plazo de DeepSeek, recapitulada:

Considerando todas estas innovaciones, el juego de DeepSeek no parece ser las ganancias inmediatas de unos pocos cientos de millones, dadas todas las decisiones que han tomado (aún sin multimodalidad, sin modelos de voz, sin video, ¿qué es eso?), sino que están jugando un paciente juego de 10 billones de dólares para habilitar un ecosistema de hardware alternativo.

No se trata solo de convertir a los actores de memoria chinos en actores clave en la arena del hardware de IA chino y mundial, sino también de reducir la demanda de recursos en sí misma, para poder entrenar y servir modelos de IA de manera rentable. Esto permitirá que muchos fabricantes de GPU/ASIC, así como fabricantes de chips de red, se conviertan en opciones viables. Todas estas innovaciones también ayudarán al ecosistema de código abierto occidental, así como a los nuevos fabricantes de hardware.

Todas las señales están ahí. Solo recapitulamos en detalle todas las innovaciones que han presentado:

1. Mezcla de Expertos (MoE) y MLA introducidas en DeepSeek V2. MoE hizo posible entrenar modelos muy inteligentes con un 40-50% menos de cómputo. MLA hizo posible reducir la KV Cache en un 90%. Esto hizo que la descarga de la KV Cache a SSD fuera bastante eficiente. Estas ideas se introdujeron en su artículo de mayo de 2024, DeepSeek V2. Más tarde, permitió el entrenamiento de DeepSeek V3, que en ese momento estaba cerca del código cerrado y solo usaba 2048 GPU H800 limitadas.

1. DSA (introducido en DeepSeek V3.2 Exp) para reducir el cómputo en escenarios de contexto largo y también aliviar la presión sobre el ancho de banda de HBM. Asegura que el cómputo no crezca con el contexto creciente. Vean los gráficos a continuación: el tiempo de procesamiento para DeepSeek-v3.2 se mantiene plano con el contexto.

1. mHC introducido en diciembre de 2025 en el artículo mHC: Manifold-Constrained Hyper-Connections. mHC es una innovación de macro-arquitectura de DeepSeek que reinventa cómo fluye la información entre las capas del transformer. En lugar de la conexión residual estándar (x + F(x)) utilizada desde ResNet, mHC expande el flujo residual en múltiples autopistas de información paralelas y permite una mezcla aprendida entre ellas, pero, crucialmente, restringe las matrices de mezcla para que sean doblemente estocásticas (mediante la proyección Sinkhorn-Knopp en el politopo de Birkhoff), lo que garantiza matemáticamente que la magnitud de la señal se conserve a través de una profundidad arbitraria.

• Esto resuelve la inestabilidad catastrófica que afectaba a las Hiperconexiones sin restricciones (inventadas inicialmente en ByteDance), donde la amplificación de la señal explotaba hasta 3000× a escala 27B, colapsando el entrenamiento por completo.
• El costo de cómputo es mínimo: mHC agrega solo un 6.7% de sobrecarga de tiempo de entrenamiento, ya que no cambia los FLOPs de las capas de atención o FFN, solo cómo se enrutan sus salidas entre las capas.
• Sin embargo, las ganancias de rendimiento son sustanciales: con 27B de parámetros, mHC ofrece +7.2 puntos en razonamiento BIG-Bench Hard, +3.2 en DROP, +2.8 en matemáticas GSM8K y +1.4 en conocimiento general MMLU, todo con el mismo tamaño de modelo y un presupuesto de cómputo casi idéntico.

En esencia, mHC logra una inteligencia significativamente mayor por parámetro al proporcionar a la red una topología más rica y expresiva para enrutar la información a través de las capas, mientras paga casi nada en FLOPs adicionales.

1. CSA, HSA (introducidas en DeepSeek V4 en abril de 2026) para reducir la necesidad de KV en otro 90% mediante la compresión de tokens KV y reducen los FLOPs necesarios en un gran margen, aliviando la presión tanto en HBM como en GPU/ASIC.

1. [Engram](https://arxiv.org/pdf/2601.07372) introducido en el primer trimestre de 2026, donde intercambian memoria (memoria LPDDR) por cómputo (de alguna manera). Como muestra el siguiente gráfico detallado, la ganancia de rendimiento se debe a Engram con el mismo presupuesto general de parámetros.

1. El enfoque extremo en la superposición de cómputo y comunicación, e innovaciones como Dual Path, pueden explicarse como una solución a la restricción de recursos. Pero DeepSeek va más allá y asesora a los proveedores de hardware en el diseño de sus ASIC para asegurarse de que no desperdicien valiosos recursos de silicio. Esto es del artículo de DeepSeek V4.

1. La inversión en TileLang apunta en la dirección consistente de que no solo están lidiando con su propia escasez de cómputo, sino que están haciendo que el ecosistema de hardware chino sea competitivo con el ecosistema occidental. Con Tilelang es posible desarrollar un kernel (código para cómputo) una vez y ejecutarlo con éxito en múltiples plataformas de hardware para las que esté disponible el backend de TileLang. Espero que todos los demás laboratorios con sede en China se unan, ayudando a los fabricantes de hardware chinos a lidiar indirectamente con el "foso de CUDA". Esto también desbloquea más hardware occidental como AMD.

Nota: muchas plataformas de IA en China proporcionan compatibilidad con CUDA o una capa de traducción de CUDA: Moore Threads, MetaX, Biren e Iluvatar CoreX son los chips chinos más compatibles con CUDA a través de capas de traducción. No necesitan TileLang (en teoría).

RL y RSI a gran escala:

Con acceso a más cómputo (debido a más opciones de hardware potenciales) y una reducción en la demanda de cómputo, DeepSeek puede emprender proyectos de entrenamiento mucho más ambiciosos; particularmente el entrenamiento posterior de RL. RL implica generar un gran número de trayectorias, generando billones de tokens. Puede volverse muy caro rápidamente. Además, para entrenar modelos de contexto de 1M, es necesario generar trayectorias igual de largas. El entrenamiento de modelos para trayectorias tan largas permite tareas de horizonte largo.

Además, la disponibilidad de más hardware en DeepSeek debido a las mayores opciones permitirá la investigación automatizada (RSI). La RSI implica que la propia IA diseñe y realice experimentos. El enfoque tiene un gran número de pruebas y errores y puede volverse costoso muy rápidamente. Sin embargo, la RSI es importante para explorar todo el espacio de diseño. DeepSeek necesitará ser capaz de realizar RSI antes de alcanzar la AGI y luego la ASI.

Lo que DeepSeek hace hoy, el resto de la industria lo hace mañana:

Las innovaciones de DeepSeek en torno a Mezcla de Expertos, MLA y DSA han sido adoptadas por el resto de los laboratorios de IA de todo el mundo y de China.

Por ejemplo, ZAI, fabricantes de la familia de modelos GLM, utilizan MLA y DSA. Kimi (Moonshot) ha adoptado MLA y no tiene reparos en decir que su arquitectura se basa en la arquitectura de DeepSeek. A cambio, DeepSeek utiliza el optimizador Muon, que fue utilizado por primera vez por Kimi (Moonshot) para entrenamiento a gran escala.

(NOTA:

• MoE fue inventado en Google en 2017 con Naom Shazeer como autor principal. DeepSeek lo aplicó a gran escala e inventó sus propios trucos.

• El optimizador Muon (MomentUm Orthogonalized by Newton-Schulz) fue creado por el investigador de aprendizaje automático Keller Jordan a finales de 2024. El equipo de Kimi (Moonshot) fue el primero en usarlo a gran escala).

¿Qué hay de ganar $$$?

Estudiemos un ejemplo interesante de OpenAI. OpenAI recibió warrants/opciones para comprar acciones de AMD y Cerebras a un precio bajo, basados en hitos de consumo. Es un gran acuerdo para AMD y Cerebras. Que OpenAI esté comprometida con ellos hace que sea probable que tengan éxito a largo plazo.

Cita del anuncio de AMD: "Como parte del acuerdo, para alinear aún más los intereses estratégicos, AMD ha emitido a OpenAI un warrant por hasta 160 millones de acciones ordinarias de AMD, estructurado para que se consolide a medida que se alcancen hitos específicos. El primer tramo se consolida con el despliegue inicial de 1 gigavatio, y los tramos adicionales se consolidan a medida que las compras aumentan hasta 6 gigavatios. La consolidación está además vinculada a que AMD alcance ciertos objetivos de precio de las acciones y a que OpenAI alcance los hitos técnicos y comerciales necesarios para permitir las implementaciones de AMD a escala."

Pronostico que DeepSeek celebrará acuerdos similares con múltiples fabricantes chinos de memoria, ASIC, CPU y redes, y trabajará estrechamente con ellos para hacer que sus stacks de hardware sean viables para las cargas de trabajo de IA líderes.

Dado que la valoración combinada de todas las acciones de IA occidentales (incluyendo aliados de Asia Oriental) supera con creces los 10 billones de dólares, este enfoque de colaboración que otorga capital permite a DeepSeek ayudar a crear una industria igualmente grande en China y reclamar su parte del pastel, mientras alcanza una valoración de 1 billón de dólares para sí misma.

Esto les permitirá ganar mucho más $$$ mientras también logran su objetivo, en sus propias palabras, de "AGI para todos". Liang Wenfeng, un gran fanático de Jim Simons, es un capitalista demasiado inteligente como para perderse esto.

¡Es lo único que tiene sentido, si observas todo lo que DeepSeek ha hecho hasta ahora!

Blog detallado sobre estas innovaciones este fin de semana, sigan mi Substack https://polymath707.substack.com/ si están interesados...