¿Alguna vez te has preguntado cómo DeepSeek podría ganar dinero, y mucho?
No crearon planes de codificación competitivos como GLM, MoonShot y MiniMax. No tienen modelos multimodales, de audio o video. Hasta la fecha no tienen un harness (aunque recién empezaron a contratar para construir uno). DeepSeek también está comprometido con el código abierto a largo plazo y está más que feliz de compartir su salsa secreta. ¿Es esto una locura? ¿Es una pérdida total de dinero? ¿Los inversores que están a punto de invertir 10 mil millones de USD en ellos están tirando el dinero al drenaje?
No, todo lo contrario, ¡en mi humilde opinión!
Aquí presento observaciones sobre lo que han hecho hasta ahora y una estrategia que parecen estar siguiendo. Liang Wenfeng (CEO de DeepSeek) parece tener la mirada puesta en un premio mucho mayor y podrían alcanzar una valoración de 1 billón de USD, ¡mientras ayudan a crear una industria de 10 billones de USD!
Revisando el Viaje del Héroe de DeepSeek
DeepSeek siempre ha ido contra la corriente de construir modelos incrementalmente mejores y tratar de vender aplicaciones inmediatas, como planes de codificación. Escribí este tweet viral el 27 de enero de 2025 sobre lo que yo veía como El Viaje del Héroe de DeepSeek. La historia se vuelve cada vez más interesante.
- Cuando otros intentaban construir modelos densos, DeepSeek apostó por los modelos de Mezcla de Expertos (MoE), que eran difíciles de entrenar.
- Trabajaron desde un enfoque de 'primeros principios' e inventaron el nuevo algoritmo GRPO para reemplazar el dominante algoritmo PPO en Aprendizaje por Refuerzo (RL), que era más costoso de implementar.
- Descubrieron el Aprendizaje por Refuerzo a partir de Recompensas Verificadas (RLVR) como una estrategia clave para mejorar la capacidad de razonamiento de los modelos.
- Crearon una estrategia simple para la Decodificación Especulativa mediante "Predicción de Múltiples Tokens", que también densificó la señal de entrenamiento.
- Perfeccionaron los pipelines de "Cero burbujas" para mejorar el uso de los recursos limitados de GPU.
- Publicaron el Balanceador de Carga de Expertos para facilitar la implementación de modelos de Mezcla de Expertos. En particular, con la estrategia "Wide Expert Parallel", los modelos pueden servirse de manera mucho más económica, ya que se pueden tener lotes grandes.
- Inventaron MLA, DSA, CSA, HCA para reducir la necesidad de KV Cache y mantener la demanda de computación casi constante frente a contextos crecientes.
- Inventaron Engram para intercambiar memoria por cómputo.
- Inventaron mHC para lograr un entrenamiento estable a medida que crece el tamaño del modelo. Y la lista continúa...
En la estructura narrativa del Viaje del Héroe (la más universal), el héroe nunca decide cuál será su viaje. Aprende en el camino, descubre una gran misión para sí mismo y la completa contra todo pronóstico. Se encuentra con muchos detractores, pero los ignora. Se topa con muchos actores de mala fe. Tiene un gran defecto o carencia, pero los supera para cumplir su misión. Enfrenta desafíos que parecen insuperables, pero encuentra cómo hacer alianzas y cómo usar los recursos valiosos con sabiduría. Esto es lo que hace que la audiencia apoye al héroe. Esto es lo que le ha ganado a DeepSeek una base de seguidores, respeto global y también detractores.
Como les mostraré en detalle, DeepSeek lleva suficiente tiempo en este viaje y ya ha descubierto su destino final: no es vender planes de codificación, sino habilitar un ecosistema de hardware de IA chino de 10 billones de USD y alcanzar una valoración de 1 billón de USD para sí mismos. Al hacerlo, también permitirán la entrada de muchos nuevos actores en el ecosistema de hardware occidental.
Comentarios y críticas bienvenidos: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang
Empezando con un poco de diversión con cálculos de KV Cache:
Lean este oportuno tweet de @SemiAnalysis_:
Primero hagamos algunos cálculos divertidos de KV Cache. No se preocupen si no les gustan las matemáticas. Usaremos la calculadora de KV Cache lanzada recientemente para ver el ahorro de KV Cache que hace posible DeepSeek V4 Pro y compararlo con los modelos más recientes de GLM y Qwen.
Calculo para un contexto de 1M. Asumo precisión KV de 8 bits y precisión del indexador de 16 bits. Pueden jugar con la calculadora.
https://kvcache.ai/tools/kv-cache-calculator/
Para un contexto de 1M:
- DeepSeek V4 solo necesita 5.48 GB de HBM
- GLM5 necesita 60 GB de HBM
- Qwen3-235B-A22B necesita la friolera de 89 GB
Tengan en cuenta:
- DeepSeek es un modelo de 1.6 billones de parámetros
- GLM5 tiene alrededor de 700 mil millones de parámetros; ya usa MLA y DSA de DeepSeek, aunque no la atención comprimida más reciente
- Qwen3-235B-A22B tiene alrededor de 235 mil millones y usa atención GQA
DeepSeek ha hecho una contribución fundamental para aliviar la presión sobre la memoria. Si se adopta ampliamente, esta innovación puede hacer que los agentes de largo horizonte sean altamente económicos y desbloquear el próximo conjunto de casos de uso.
El método detrás de la locura:
Este tamaño pequeño de KV Cache, sin comprometer la calidad, es la razón por la que pueden ofrecer una caché de larga duración a un precio tan ridículamente bajo: menos del 3% del precio de los aciertos de caché de Sonnet 4.6, y la mantienen durante varias horas.
Una pequeña cantidad de caché para tareas de largo horizonte permite descargar a SSD y recargar de manera muy rentable. Esto reduce el requisito de HBM, que escasea y es la memoria más difícil de fabricar desde la perspectiva de la industria china de hardware de IA. DeepSeek también ha desarrollado técnicas para cargar la KV Cache más rápido desde SSD, como se describe en el artículo de Dual Path.
¿Quién se beneficia inmediatamente de la compresión de KV Cache?
¿Quién suministra SSD en grandes cantidades? Recordemos que YMTC está emergiendo como un gigante de 3D NAND. NAND permite a DeepSeek evitar la recomputación de KVs. A su vez, DeepSeek crea un gran mercado para NAND y SSD, no solo de YMTC, sino también de todos los demás.
Sin embargo, no se trata solo de NAND y SSD:
La memoria LPDDR tiene un gran potencial para ser un lugar donde almacenar pesos y transmitirlos a HBM según sea necesario, reduciendo la presión sobre la demanda de HBM. El equipo de SGLang publicó un excelente blog al respecto. Presento el siguiente diagrama para explicar cómo funciona el esquema.
Si bien DeepSeek no hizo nada específicamente para esto, su arquitectura MoE con un gran número de expertos y pesos de 4 bits facilita la implementación de este esquema.
Esta innovación, combinada con la KV Cache súper compacta (sin pérdidas), reduce significativamente la demanda de HBM.
¿Quién fabrica LPDDR en China? CXMT. Están solo a 0.5 generaciones de distancia en velocidad para LPDDR y a 1 generación en densidad. ¡No muy lejos! Además, con abundante NAND, el ecosistema chino tendrá abundante LPDDR en un futuro cercano. ¿Puede esto aliviar la presión sobre el cómputo? SÍ. Sigan leyendo...
El uso inteligente de la memoria también reduce la presión sobre las GPU/ASIC
Está bastante claro que usar NAND para KV Cache permite mantener la KV Cache por más tiempo, reduce la presión sobre HBM y ayuda a evitar la recomputación de la KV Cache, lo que alivia la presión de cómputo sobre las GPU y ASIC. ¿Puede LPDDR también ayudar de manera similar, además de ser un lugar desde donde se pueden transmitir los pesos "justo a tiempo"? La respuesta es SÍ.
LPDDR soporta el almacenamiento de grandes cantidades de lo que se conoce como "Engram". En su artículo sobre Engram, DeepSeek mostró que, si bien MoE escala la capacidad mediante cómputo condicional, los Transformers carecen de una primitiva nativa para la búsqueda de conocimiento. Se ven forzados a simular ineficientemente la búsqueda a través del cómputo. Introducen Engram, un módulo que moderniza los clásicos N-gram embeddings en una búsqueda basada en hash O(1), creando un eje de escasez complementario que llaman memoria condicional. Esto ahorra cómputo, pero necesita memoria para alojar la tabla de embeddings, que puede ser de gran tamaño. Es un intercambio clásico memoria-cómputo, pero con la visión de que el lado de la "memoria" es dramáticamente más barato por bit recuperado (una búsqueda en LPDDR frente a una pasada completa hacia adelante a través de las capas del transformer), lo que lo convierte en un intercambio muy favorable a escala. ¡Así es como ahorran cómputo intercambiando memoria!
Intercambios que vale la pena hacer: las GPU y ASIC chinos siempre estarán rezagados en FLOPs brutos en comparación con las GPU occidentales debido a que no tienen la misma densidad de transistores por chiplet (sin EUV). También están bastante atrasados en empaquetado. Por lo tanto, estos intercambios valen la pena, especialmente si se puede fabricar abundante memoria NAND y LPDDR.
La estrategia a largo plazo de DeepSeek, recapitulada:
A partir de todas estas innovaciones, el juego de DeepSeek no parece ser obtener ganancias inmediatas de unos pocos cientos de millones, dadas todas las decisiones que han tomado (todavía sin multimodalidad, sin modelos de voz, ¿video?, ¿qué es eso?). Sino que están jugando un juego paciente de 10 billones de USD para habilitar un ecosistema de hardware alternativo.
No se trata solo de convertir a los fabricantes de memoria chinos en actores clave en el ámbito del hardware de IA chino y global, sino también de reducir la demanda de recursos en sí misma, para poder entrenar y servir modelos de IA de manera rentable. Esto permitirá que muchos fabricantes de GPU/ASIC, así como de chips de redes, se conviertan en opciones viables. Todas estas innovaciones también ayudarán al ecosistema de código abierto occidental, así como a los nuevos fabricantes de hardware.
Todas las señales están ahí. Solo recapitulamos en detalle todas las innovaciones que han creado:
- Mezcla de Expertos (MoE) y MLA introducidas en DeepSeek V2. MoE hizo posible entrenar modelos muy inteligentes con entre un 40% y un 50% menos de cómputo. MLA permitió reducir la KV Cache en un 90%. Esto hizo que la descarga de KV Cache a SSD fuera bastante eficiente. Estas ideas se introdujeron en su artículo de mayo de 2024 DeepSeek V2. Más tarde permitió el entrenamiento de DeepSeek V3, que en ese momento era casi cerrado y solo con 2048 GPUs H808 limitadas.
- DSA (introducido en DeepSeek V3.2 Exp) para reducir el cómputo en escenarios de contexto largo y también aliviar la presión sobre el ancho de banda de HBM. Asegura que el cómputo no crezca con el contexto. Vean los gráficos a continuación: el tiempo de procesamiento para DeepSeek-v3.2 se mantiene plano con el contexto.
- mHC introducido en diciembre de 2025 en el artículo mHC: Manifold-Constrained Hyper-Connections. mHC es una innovación de macroarquitectura de DeepSeek que reinventa cómo fluye la información entre las capas del transformer. En lugar de la conexión residual estándar (x + F(x)) usada desde ResNet, mHC expande el flujo residual en múltiples autopistas de información paralelas y permite una mezcla aprendida entre ellas, pero de manera crucial restringe las matrices de mezcla para que sean doblemente estocásticas (mediante la proyección de Sinkhorn-Knopp en el politopo de Birkhoff), lo que garantiza matemáticamente que la magnitud de la señal se conserva a través de profundidades arbitrarias.
- Esto resuelve la inestabilidad catastrófica que afectaba a las Hyper-Connections sin restricciones (inventadas inicialmente en ByteDance), donde la amplificación de la señal explotaba hasta 3000× en una escala de 27B, colapsando el entrenamiento por completo.
- El costo de cómputo es mínimo: mHC agrega solo un 6.7% de sobrecarga de tiempo de entrenamiento en pared, ya que no cambia los FLOPs de las capas de atención o FFN, solo cómo se enrutan sus salidas entre capas.
- Las ganancias de rendimiento, sin embargo, son sustanciales: con 27 mil millones de parámetros, mHC proporciona +7.2 puntos en razonamiento BIG-Bench Hard, +3.2 en DROP, +2.8 en matemáticas GSM8K y +1.4 en conocimiento general MMLU, todo con el mismo tamaño de modelo y un presupuesto de cómputo casi idéntico.
En esencia, mHC logra una inteligencia significativamente mayor por parámetro al darle a la red una topología más rica y expresiva para enrutar información a través de las capas, mientras paga casi nada en FLOPs adicionales.
- CSA, HSA (introducidos en DeepSeek V4 en abril de 2026) para reducir la necesidad de KV en otro 90% comprimiendo tokens KV y reduciendo los FLOPs necesarios en gran medida, aliviando la presión tanto en HBM como en GPU/ASIC.
- Engram (introducido en arXiv) en el primer trimestre de 2026, donde intercambian memoria (LPDDR) por cómputo (de cierta manera). Como muestra el siguiente gráfico detallado, la ganancia de rendimiento debida a Engram con el mismo presupuesto de parámetros total.
- Enfoque extremo en la superposición de cómputo y comunicación, e innovaciones como Dual Path pueden explicarse como una solución a la restricción de recursos. Pero DeepSeek va más allá y asesora a los proveedores de hardware en el diseño de sus ASIC para asegurarse de que no desperdicien valiosos recursos de silicio. Esto es del artículo de DeepSeek V4.
- Inversión en TileLang apunta en la dirección consistente de que no solo están lidiando con su propia escasez de cómputo, sino que están haciendo que el ecosistema de hardware chino sea competitivo con el ecosistema occidental. Con TileLang es posible desarrollar un kernel (código para cómputo) una vez y ejecutarlo con éxito en múltiples plataformas de hardware para las que esté disponible el backend de TileLang. Espero que todos los demás laboratorios chinos se unan, ayudando a los fabricantes de hardware chinos a lidiar indirectamente con el "foso de CUDA". Esto también desbloquea más hardware occidental como AMD.
Nota: muchas plataformas de IA en China proporcionan compatibilidad con CUDA o una capa de traducción de CUDA: Moore Threads, MetaX, Biren e Iluvatar CoreX son los chips chinos más compatibles con CUDA a través de capas de traducción. En teoría, no necesitan TileLang.
RL a gran escala y RSI:
Con acceso a más cómputo (debido a más opciones de hardware potenciales) y una reducción en la demanda de cómputo, DeepSeek puede emprender proyectos de entrenamiento mucho más ambiciosos, particularmente el entrenamiento posterior con RL (post-training). RL implica generar una gran cantidad de trayectorias: generar billones de tokens. Puede volverse costoso muy rápido. Además, para entrenar modelos con contexto de 1M, necesitas generar trayectorias de esa longitud. Entrenar modelos para trayectorias tan largas permite tareas de largo horizonte.
Además, la disponibilidad de más hardware en DeepSeek debido a las mayores opciones permitirá la investigación automatizada (RSI). RSI implica que la propia IA diseñe y realice experimentos. El enfoque tiene un gran número de pruebas y errores y puede volverse costoso muy rápidamente. Sin embargo, RSI es importante para explorar todo el espacio de diseño. DeepSeek necesitará ser capaz de hacer RSI antes de alcanzar la AGI y luego la ASI.
Lo que DeepSeek hace hoy, el resto de la industria lo hace mañana:
Las innovaciones de DeepSeek en torno a Mezcla de Expertos, MLA y DSA han sido adoptadas por el resto de los laboratorios de IA de todo el mundo y de China.
Por ejemplo, ZAI, fabricantes de la familia de modelos GLM, usan MLA y DSA. Kimi (Moonshot) ha adoptado MLA y no tiene reparos en decir que su arquitectura se basa en la arquitectura de DeepSeek. A cambio, DeepSeek usa el optimizador Muon, que fue utilizado por primera vez por Kimi (Moonshot) para entrenamiento a gran escala.
(NOTA:
- MoE fue inventado en Google en 2027 con Naom Shazeer como autor principal. DeepSeek lo aplicó a una escala masiva e inventó sus propios trucos.
- El optimizador Muon (MomentUm Orthogonalizado por Newton-Schulz) fue creado por el investigador de aprendizaje automático Keller Jordan a finales de 2024. El equipo de Kimi (Moonshot) fue el primero en usarlo a gran escala.)
¿Y qué hay de ganar dinero?
Estudiemos un ejemplo interesante de OpenAI. OpenAI recibió warrants/opciones para comprar acciones de AMD y Cerebras a bajo precio, basados en hitos de consumo. Es un gran acuerdo para AMD y Cerebras. El compromiso de OpenAI con ellos hace que sea probable que tengan éxito a largo plazo.
Cita del anuncio de AMD: "Como parte del acuerdo, para alinear aún más los intereses estratégicos, AMD ha emitido a OpenAI un warrant por hasta 160 millones de acciones ordinarias de AMD, estructurado para que se consoliden a medida que se alcancen hitos específicos. El primer tramo se consolida con el despliegue inicial de 1 gigavatio, y los tramos adicionales se consolidan a medida que las compras escalan hasta 6 gigavatios. La consolidación está además vinculada a que AMD alcance ciertos objetivos de precio de acción y a que OpenAI alcance los hitos técnicos y comerciales necesarios para permitir los despliegues de AMD a gran escala."
Pronostico que DeepSeek celebrará acuerdos similares con múltiples fabricantes chinos de memoria, ASIC, CPU y stack de redes, y trabajará estrechamente con ellos para hacer viables sus stacks de hardware para cargas de trabajo líderes de IA.
Dado que la valoración combinada de todas las acciones de IA occidentales (incluidos los aliados de Asia Oriental) supera los 10 billones de USD, este enfoque de colaboración que otorga capital permite a DeepSeek ayudar a crear una industria igualmente grande en China y reclamar su parte del pastel, logrando al mismo tiempo una valoración de 1 billón de USD para sí mismos.
Esto les permitirá ganar mucho más dinero mientras logran su objetivo, en sus propias palabras, de "AGI para todos". Liang Wenfeng, un gran admirador de Jim Simons, es un capitalista demasiado inteligente como para perderse esto.
Esto es lo único que tiene sentido si observas todo lo que DeepSeek ha hecho hasta ahora...
Blog detallado sobre estas innovaciones que saldrá este fin de semana. Sigan mi Substack https://polymath707.substack.com/ si están interesados...
