DeepSeek 의 10조 달러 규모 거대 전략

DeepSeek이 어떻게 수익을 창출하고, 그것도 엄청난 수익을 낼 수 있을지 궁금한 적이 있나요?

그들은 GLM, MoonShot, MiniMax 같은 경쟁력 있는 코딩 요금제를 내놓지 않았습니다. 멀티모달, 오디오, 비디오 모델도 없습니다. 지금까지도 하네스(harness)가 없습니다 (최근에 하네스 구축을 위한 채용을 시작했지만). DeepSeek은 장기적으로 오픈 소스를 고수하고 있으며, 자신들의 비법을 공유하는 것을 매우 기뻐합니다. 이게 정신 나간 짓일까요? 순전히 돈 낭비일까요? 100억 달러를 투자하려는 투자자들이 돈을 하수구에 버리는 걸까요?

아니요 - 제 생각은 정반대입니다!!!

여기서 저는 그들이 지금까지 해온 일과 그들이 따르고 있는 것으로 보이는 전략에 대한 관찰 결과를 제시합니다. 량원펑(Liang Wenfeng) (DeepSeek CEO)의 눈은 훨씬 더 큰 목표를 향하고 있는 것으로 보이며, 그들은 1조 달러의 가치 평가를 달성하는 동시에 10조 달러 규모의 산업을 창출하는 데 기여할 수 있습니다!

DeepSeek의 영웅 여정 재조명

DeepSeek은 항상 점진적으로 더 나은 모델을 만들고 즉각적인 애플리케이션(예: 코딩 요금제)을 판매하려는 흐름에 역행해 왔습니다. 저는 2025년 1월 27일에 제가 본 DeepSeek의 영웅 여정에 대해 이렇게 입소문난 트윗을 올렸습니다. 이 이야기는 점점 더 흥미로워지고 있습니다.

• 사람들이 밀집 모델(dense model)을 만들려고 할 때, DeepSeek은 훈련하기 어려운 전문가 혼합 모델(MoE)을 추구했습니다.
• 그들은 '첫 번째 원칙' 접근 방식으로 작업했으며, 구현 비용이 더 많이 드는 강화 학습(RL)을 위한 지배적인 PPO 알고리즘을 대체하기 위해 새로운 알고리즘 GRPO를 발명했습니다.
• 그들은 검증된 보상 기반 강화 학습(RLVR)을 모델의 추론 능력을 향상시키는 핵심 전략으로 파악했습니다.
• 그들은 "멀티 토큰 예측"을 통한 추측 디코딩(Speculative Decoding)을 위한 간단한 전략을 고안했으며, 이는 또한 훈련 신호를 더욱 조밀하게 만들었습니다.
• 그들은 제한된 GPU 리소스 사용을 개선하기 위해 "제로 버블" 파이프라인을 완성했습니다.
• 그들은 모든 사람이 전문가 혼합 모델을 쉽게 배포할 수 있도록 전문가 로드 밸런서(Expert Load balancer)를 공개했습니다. 특히 "광범위 전문가 병렬(Wide Expert Parallel)" 전략을 사용하면 대규모 배치를 처리할 수 있어 모델을 훨씬 더 경제적으로 서비스할 수 있습니다.
• 그들은 KV 캐시 필요성을 줄이고 증가하는 컨텍스트에 대한 계산 요구를 거의 일정하게 유지하기 위해 MLA, DSA, CSA, HCA를 발명했습니다.
• 그들은 메모리와 계산을 맞바꾸기 위해 Engram을 발명했습니다.
• 그들은 모델 크기가 커짐에 따라 안정적인 훈련을 달성하기 위해 mHC를 발명했습니다. 그리고 그 목록은 계속됩니다....

영웅 여정 이야기 구조(가장 보편적인 구조)에서 영웅은 자신의 여정이 무엇이 될지 결코 결정하지 않습니다. 그는 길을 따라 배우고 자신을 위한 위대한 임무를 찾아내어 모든 역경을 극복하고 완수합니다. 그는 많은 비방자들을 만나지만, 그들을 무시합니다. 그는 많은 악의적인 행위자들을 만납니다. 그는 큰 결점이나 단점을 가지고 있지만, 이를 극복하고 임무를 완수합니다. 그는 극복할 수 없어 보이는 도전에 직면하지만, 동맹을 구축하고 소중한 자원을 현명하게 사용하는 방법을 찾아냅니다. 이것이 관객이 영웅을 응원하게 만드는 것입니다. 이것이 DeepSeek이 열성적인 팬과 전 세계적인 존경, 그리고 또한 비방자들을 얻게 된 이유입니다.

제가 자세히 보여드리겠지만, DeepSeek은 이 여정을 충분히 오래도록 걸어왔고 궁극적인 운명을 발견했습니다: 그것은 코딩 요금제를 판매하는 것이 아니라, 10조 달러 규모의 중국 AI 하드웨어 생태계를 가능하게 하고 스스로 1조 달러의 가치 평가를 달성하는 것입니다. 그렇게 함으로써 그들은 서양 하드웨어 생태계에도 많은 새로운 진입자를 가능하게 할 것입니다.

의견과 비판을 환영합니다: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

KV 캐시 계산으로 재미있는 시작:

@SemiAnalysis_ 의 이 시의적절한 트윗을 읽어보세요:

먼저 재미있는 KV 캐시 계산을 해보겠습니다. 수학을 싫어하셔도 걱정하지 마세요. 최근 출시된 KV 캐시 계산기를 사용하여 DeepSeek V4 Pro가 가능하게 한 KV 캐시 절감 효과를 확인하고 최신 GLM 및 Qwen 모델과 비교해 보겠습니다.

1M 컨텍스트에 대해 계산합니다. 8비트 KV 정밀도와 16비트 인덱서 정밀도를 가정합니다. 계산기를 직접 사용해 볼 수 있습니다.

https://kvcache.ai/tools/kv-cache-calculator/

1M 컨텍스트의 경우

1. DeepSeek V4는 5.48GB HBM만 필요합니다.
2. GML5는 60GB HBM이 필요합니다.
3. Qwen3-235B-A22B는 무려 89GB가 필요합니다.

참고하세요

1. DeepSeek은 1.6T 파라미터 모델입니다.
2. GLM5는 약 700B 파라미터이며, 이미 DeepSeek의 MLA와 DSA를 사용하고 있습니다. 최신 압축 어텐션은 아니지만요.
3. Qwen3-235B-A22B는 약 235B이며 GQA 어텐션을 사용합니다.

DeepSeek은 메모리 부담을 완화하는 데 근본적인 기여를 했습니다. 이 혁신이 널리 채택된다면 장기적인 에이전트(long horizon agent)를 매우 경제적으로 만들고 새로운 사용 사례를 열 수 있습니다.

광기 뒤에 숨은 방법:

품질 저하 없이 이렇게 작은 KV 캐시 크기 덕분에 그들은 장기 보유 캐시(long held cache)를 엄청나게 낮은 가격( Sonnet 4.6의 Cache hit 가격의 3% 미만)으로 제공할 수 있으며, 여러 시간 동안 유지할 수 있습니다.

장기적인 작업을 위한 소량의 캐시는 SSD로 오프로딩하고 매우 비용 효율적으로 다시 로드할 수 있게 해줍니다. 이는 중국 AI 하드웨어 산업 관점에서 공급이 부족하고 만들기 가장 어려운 메모리인 HBM의 필요성을 줄여줍니다. DeepSeek은 또한 Dual Path 논문에 설명된 대로 SSD에서 KV 캐시를 더 빠르게 로드하는 기술을 개발했습니다.

KV 캐시 압축의 즉각적인 수혜자는 누구입니까?:

대량의 SSD를 공급하는 곳은 어디입니까? YMTC가 3D NAND 거대 기업으로 부상하고 있음을 기억하십시오. NAND를 통해 DeepSeek은 KV 재계산을 피할 수 있습니다. 결과적으로 DeepSeek은 YMTC뿐만 아니라 다른 모든 업체의 NAND 및 SSD를 위한 큰 시장을 창출합니다.

하지만 NAND와 SSD만의 이야기는 아닙니다:

LPDDR 메모리는 가중치를 보관하고 필요에 따라 HBM으로 스트리밍하여 HBM 수요 압력을 줄일 수 있는 잠재력이 큽니다. SGLang 팀이 이에 대한 훌륭한 블로그를 게시했습니다. 아래 다이어그램은 이 방식이 어떻게 작동하는지 설명합니다.

DeepSeek이 이를 위해 특별히 한 것은 없지만, 많은 수의 전문가와 4비트 가중치를 가진 그들의 MoE 아키텍처는 이 방식을 구현하기 쉽게 만듭니다.

이 혁신은 초소형 KV 캐시(무손실)와 결합되어 HBM 수요를 크게 줄입니다.

중국에서 LPDDR을 만드는 곳은 어디입니까? CXMT입니다. 그들은 LPDDR 속도에서 0.5세대 뒤쳐져 있고 밀도에서는 1세대 뒤쳐져 있습니다. 그리 멀지 않습니다! 또한 풍부한 NAND와 함께, 중국 생태계는 가까운 미래에 풍부한 LPDDR을 보유하게 될 것입니다. 이것이 컴퓨팅 압력을 완화할 수 있을까요? 그렇습니다. 계속 읽어보세요..

메모리의 현명한 사용은 GPU/ASIC의 압력도 줄여줍니다

KV 캐시에 NAND를 사용하면 KV 캐시를 더 오래 유지하고, HBM의 압력을 줄이며, KV 캐시 재계산을 피하여 GPU 및 ASIC의 컴퓨팅 압력을 완화할 수 있다는 것은 매우 명확합니다. LPDDR도 가중치를 "적시에(just in time)" 스트리밍할 수 있는 장소가 되는 것 외에도 비슷한 방식으로 도움이 될 수 있을까요? 대답은 '그렇다'입니다.

LPDDR은 "Engram"으로 알려진 대량의 데이터를 보관하는 것을 지원합니다. 그들의 Engram 논문에서 DeepSeek은 MoE가 조건부 계산을 통해 용량을 확장하는 반면, Transformers는 지식 조회를 위한 기본 프리미티브가 부족하다는 것을 보여주었습니다. 그들은 계산을 통해 검색을 비효율적으로 시뮬레이션해야 합니다. 그들은 고전적인 N-gram 임베딩을 O(1) 해시 기반 조회로 현대화하여 조건부 메모리라고 부르는 상호 보완적인 희소성 축을 생성하는 모듈인 Engram을 도입했습니다. 이는 계산을 절약하지만 크기가 클 수 있는 임베딩 테이블을 호스팅할 메모리가 필요합니다. 이것은 고전적인 메모리-계산 대체이지만, "메모리" 측면이 검색된 비트당 훨씬 저렴하다는 통찰력(LPDDR 조회 대 트랜스포머 레이어를 통한 전체 순방향 패스)을 가지고 있어 대규모에서 매우 유리한 트레이드오프를 만듭니다. 이것이 그들이 메모리를 거래하여 계산을 절약하는 방법입니다!!!

가치 있는 트레이드오프: 중국 GPU 및 ASIC은 EUV 부족으로 인해 칩렛당 트랜지스터 밀도가 서양 GPU에 비해 영원히 뒤쳐질 것입니다. 패키징에서도 상당히 뒤쳐져 있습니다. 따라서 이러한 트레이드오프는 특히 풍부한 NAND와 LPDDR 메모리를 만들 수 있다면 충분히 가치가 있습니다.

DeepSeek의 장기 게임 재조명:

이 모든 혁신을 통해, DeepSeek의 게임은 그들이 선택한 모든 선택(아직 멀티모달리티 없음, 음성 모델 없음, 비디오 - 그게 뭐죠?)을 고려할 때 즉각적인 수억 달러의 이익이 아닌 것 같습니다. 그러나 그들은 대체 하드웨어 생태계를 가능하게 하기 위해 인내심 있는 10조 달러 게임을 하고 있습니다.

이는 중국 메모리 업체들을 중국 및 글로벌 AI 하드웨어 무대의 핵심 플레이어로 만드는 것뿐만 아니라, 리소스 수요 자체를 줄여 AI 모델을 비용 효율적으로 훈련하고 서비스할 수 있게 하는 것입니다. 이는 많은 GPU/ASIC 제조업체와 네트워킹 칩 제조업체가 실행 가능한 옵션이 될 수 있게 해줄 것입니다. 이러한 모든 혁신은 또한 서양 오픈 소스 생태계와 새로운 하드웨어 제조업체에 도움이 될 것입니다.

모든 징후가 있습니다. 그들이 내놓은 모든 혁신을 자세히 다시 살펴보겠습니다.

1. DeepSeek V2에서 도입된 전문가 혼합(MoE) 및 MLA. MoE는 40~50% 적은 컴퓨팅으로 매우 지능적인 모델을 훈련할 수 있게 했습니다. MLA는 KV 캐시를 90%까지 줄일 수 있게 했습니다. 이로 인해 KV 캐시를 SSD로 오프로딩하는 것이 매우 효율적이 되었습니다. 이러한 아이디어는 2024년 5월 논문 DeepSeek V2에서 소개되었습니다. 이후 단 2048개의 성능이 제한된 H800 GPU로 당시 거의 클로즈드 소스였던 DeepSeek V3 훈련을 가능하게 했습니다.

1. DSA (DeepSeek V3.2 Exp에서 도입)는 긴 컨텍스트 시나리오에 대한 계산을 줄이고 HBM 대역폭 압력을 완화합니다. 컨텍스트가 증가함에 따라 계산이 증가하지 않도록 보장합니다. 아래 차트를 참조하십시오 - DeepSeek-v3.2의 처리 시간은 컨텍스트에 관계없이 일정하게 유지됩니다.

1. mHC는 2025년 12월 논문 mHC: Manifold-Constrained Hyper-Connections에서 도입되었습니다. mHC는 DeepSeek의 매크로 아키텍처 혁신으로, 트랜스포머 레이어 간의 정보 흐름 방식을 재발명합니다. ResNet 이후 사용된 표준 잔차 연결(x + F(x)) 대신, mHC는 잔차 스트림을 여러 개의 병렬 정보 고속도로로 확장하고 이들 간의 학습된 혼합을 허용합니다. 그러나 결정적으로 혼합 행렬이 이중 확률적(doubly stochastic)이 되도록 제약합니다(Sinkhorn-Knopp 투영을 Birkhoff polytope에 적용). 이는 신호 크기가 임의의 깊이에서 보존됨을 수학적으로 보장합니다.

• 이는 ByteDance에서 처음 발명된 제약 없는 Hyper-Connections를 괴롭혔던 치명적인 불안정성(27B 규모에서 신호 증폭이 3000배까지 폭발하여 훈련이 완전히 붕괴됨)을 해결합니다.
• 계산 비용은 최소화됩니다: mHC는 어텐션이나 FFN 레이어의 FLOPs를 변경하지 않고 레이어 간 출력이 라우팅되는 방식만 변경하므로, 벽시계 훈련 오버헤드가 6.7%만 추가됩니다.
• 그러나 성능 향상은 상당합니다: 27B 파라미터에서 mHC는 동일한 모델 크기와 거의 동일한 계산 예산으로 BIG-Bench Hard 추론에서 +7.2점, DROP에서 +3.2점, GSM8K 수학에서 +2.8점, MMLU 일반 지식에서 +1.4점을 제공합니다.
• 본질적으로 mHC는 네트워크에 레이어 간 정보를 라우팅하기 위한 더 풍부하고 표현력이 뛰어난 토폴로지를 제공하여 파라미터당 의미 있게 더 높은 지능을 달성하면서 추가 FLOPs는 거의 들지 않습니다.

1. CSA, HSA (2026년 4월 DeepSeek V4에서 도입)는 KV 토큰을 압축하여 KV 필요량을 추가로 90% 줄이고 필요한 FLOPs를 크게 줄여 HBM과 GPU/ASIC 모두에 대한 압력을 완화합니다.

1. Engram은 2026년 1분기에 도입되었으며, 메모리(LPDDR 메모리)를 계산과 교환합니다(어떤 면에서). 아래 상세 차트는 동일한 전체 파라미터 예산에서 Engram으로 인한 성능 향상을 보여줍니다.

1. 계산과 통신 중첩에 대한 극단적인 집중, 그리고 Dual Path와 같은 혁신은 리소스 제약에 대한 해결 방법으로 설명될 수 있습니다. 그러나 DeepSeek은 더 나아가 하드웨어 공급업체에게 ASIC 설계에 대해 조언하여 귀중한 실리콘 리소스를 낭비하지 않도록 합니다. 이는 DeepSeek V4 논문에서 가져온 것입니다.

1. TileLang에 대한 투자는 그들이 자체 컴퓨팅 부족 문제를 해결할 뿐만 아니라 중국 하드웨어 생태계를 서양 생태계와 경쟁력 있게 만들려는 일관된 방향을 가리킵니다. TileLang을 사용하면 커널(계산을 위한 코드)을 한 번 개발하고 TileLang 백엔드를 사용할 수 있는 여러 하드웨어 플랫폼에서 성공적으로 실행할 수 있습니다. 다른 중국 기반 연구소들도 합류하여 중국 하드웨어 제조업체가 간접적으로 "CUDA 해자"를 극복하도록 도울 것으로 예상합니다. 이는 또한 AMD와 같은 더 많은 서양 하드웨어를 활용할 수 있게 해줍니다.

참고: 중국의 많은 AI 플랫폼은 CUDA 호환성 또는 CUDA 변환 레이어를 제공합니다: Moore Threads, MetaX, Biren, Iluvatar CoreX는 변환 레이어를 통해 가장 CUDA 호환성이 높은 중국 칩입니다. 그들은 (이론상) TileLang이 필요하지 않습니다.

대규모 RL 및 RSI:

더 많은 컴퓨팅(더 많은 잠재적 하드웨어 옵션으로 인해)에 접근하고 컴퓨팅 수요가 감소함에 따라 DeepSeek은 훨씬 더 야심찬 훈련 프로젝트, 특히 RL 사후 훈련을 수행할 수 있습니다. RL은 수많은 궤적(trajectory)을 생성하는 것과 관련이 있습니다 - 수조 개의 토큰을 생성합니다. 이는 매우 빠르게 비용이 많이 들 수 있습니다. 또한 1M 컨텍스트 모델을 훈련하려면 그만큼 긴 궤적을 생성해야 합니다. 이러한 긴 궤적에 대한 모델 훈련은 장기적인 작업을 가능하게 합니다.

또한, 증가된 옵션으로 인해 DeepSeek에서 더 많은 하드웨어를 사용할 수 있게 되면 자동화된 연구(RSI)가 가능해집니다. RSI는 AI 자체가 실험을 설계하고 수행하는 것을 포함합니다. 이 접근 방식은 많은 시행착오를 수반하며 매우 빠르게 비용이 많이 들 수 있습니다. 그러나 RSI는 전체 설계 공간을 탐색하는 데 중요합니다. DeepSeek은 AGI에 도달하고 ASI로 이어지기 전에 RSI가 가능해야 합니다.

DeepSeek이 오늘 하는 일을, 나머지 업계는 내일 합니다:

DeepSeek의 전문가 혼합, MLA, DSA에 대한 혁신은 전 세계와 중국의 다른 AI 연구소에서 채택했습니다.

예를 들어, GLM 모델 제품군을 만드는 ZAI는 MLA와 DSA를 사용합니다. Kimi(Moonshot)는 MLA를 채택했으며 자사의 아키텍처가 DeepSeek의 아키텍처를 기반으로 한다고 주저하지 않고 말합니다. 그 대가로 DeepSeek은 Kimi(Moonshot)가 대규모 훈련을 위해 처음 사용한 Muon 최적화 프로그램을 사용합니다.

(참고:

• MoE는 Naom Shazeer를 핵심 저자로 하여 2027년 Google에서 발명되었습니다. DeepSeek은 이를 대규모로 적용하고 자체 기술을 발명했습니다.
• Muon(MomentUm Orthogonalized by Newton-Schulz) 최적화 프로그램은 2024년 후반에 머신러닝 연구원 Keller Jordan이 만들었습니다. Kimi(Moonshot) 팀이 이를 대규모로 처음 사용했습니다.)

돈 버는 것에 대해서는?:

OpenAI의 흥미로운 예를 살펴보겠습니다. OpenAI는 사용량 이정표에 따라 AMD와 Cerebras의 주식을 낮은 가격에 매수할 수 있는 워런트/옵션을 받았습니다. 이는 AMD와 Cerebras에게 훌륭한 거래입니다. OpenAI가 그들에게 헌신함으로써 장기적으로 성공할 가능성이 높아집니다.

AMD 발표 인용문: "계약의 일환으로, 전략적 이해 관계를 더욱 일치시키기 위해 AMD는 OpenAI에 최대 1억 6천만 주의 AMD 보통주 워런트를 발행했으며, 특정 이정표가 달성됨에 따라 행사되도록 구성되었습니다. 첫 번째 트랜치는 초기 1기가와트 배치와 함께 행사되며, 구매 규모가 6기가와트까지 증가함에 따라 추가 트랜치가 행사됩니다. 행사는 또한 AMD가 특정 주가 목표를 달성하고 OpenAI가 AMD 배치를 대규모로 가능하게 하는 데 필요한 기술 및 상업적 이정표를 달성하는 것에 추가로 연결됩니다."

저는 DeepSeek이 여러 중국 메모리, ASIC, CPU 및 네트워킹 스택 제조업체와 이러한 계약을 체결하고 그들과 긴밀히 협력하여 하드웨어 스택을 선도적인 AI 워크로드에 실행 가능하게 만들 것이라고 예측합니다.

모든 서양(동아시아 동맹국 포함) AI 주식의 총 가치 평가액이 10조 달러를 훨씬 초과한다는 점을 고려할 때, 지분을 보상하는 이 협력 접근 방식은 DeepSeek이 중국에서도 동등하게 큰 산업을 창출하고 자신의 몫을 차지하면서 1조 달러의 가치 평가를 달성할 수 있게 해줍니다.

이를 통해 그들은 훨씬 더 많은 돈을 벌면서 동시에 그들의 목표인 "모두를 위한 AGI"를 달성할 수 있을 것입니다. Jim Simons의 열렬한 팬인 Liang Wenfeng은 이것을 놓칠 만큼 어리석은 자본가가 아닙니다!

지금까지 DeepSeek이 한 모든 것을 살펴보면, 이것이 유일하게 말이 되는 것입니다...

이 혁신에 대한 상세 블로그가 이번 주말에 나올 예정입니다. 관심이 있으시면 제 Substack https://polymath707.substack.com/을 팔로우해 주세요...