DeepSeek'in 10 Trilyon Dolarlık Büyük Stratejisi

DeepSeek'in nasıl para kazanabileceğini ve hem de çok para kazanabileceğini hiç merak ettiniz mi?

GLM, MoonShot ve MiniMax gibi rekabetçi kodlama planlarıyla ortaya çıkmadılar. Multimodal, ses ve video modelleri yok. Bugüne kadar bir donanım (harness) geliştirmediler (yakın zamanda donanım için işe alımlara başladılar). DeepSeek ayrıca uzun vadede açık kaynak olmaya kararlı ve gizli soslarını paylaşmaktan da fazlasıyla mutlu. Bu delilik mi? Bu tamamen para israfı mı? İçlerine 10 Milyar Dolar yatıracak yatırımcılar paralarını çöpe mi atıyor?

Hayır – tam tersine, bence!!!

Burada, bugüne kadar yaptıklarına dair gözlemlerimi ve izledikleri bir stratejiyi sunuyorum. Liang Wenfeng'in (DeepSeek CEO'su) gözü çok daha büyük bir ödülde ve 10 Trilyon Dolarlık bir endüstri yaratmaya yardımcı olurken 1 Trilyon Dolar değerlemeye ulaşabilirler!

DeepSeek'in Kahramanın Yolculuğunu Yeniden Ziyaret Etmek

DeepSeek her zaman kademeli olarak daha iyi modeller oluşturma ve anlık uygulamaları (örneğin kodlama planları) satmaya çalışma rüzgarına karşı gitmiştir. 27 Ocak 2025'te DeepSeek'in Kahramanın Yolculuğu olarak gördüğüm şey hakkında bu viral tweeti atmıştım. Hikaye giderek daha da ilginçleşiyor.

• İnsanlar yoğun modeller oluşturmaya çalışırken, DeepSeek eğitimi zor olan Uzman Karışımı modellerin (MoE) peşine düştü.
• 'İlk prensip' yaklaşımıyla çalıştılar ve uygulaması daha pahalı olan baskın PPO algoritmasının yerini almak için Takviyeli Öğrenme (RL) için yeni bir algoritma olan GRPO'yu icat ettiler.
• Modellerin akıl yürütme yeteneğini geliştirmek için kilit bir strateji olarak Doğrulanmış Ödüllerden Takviyeli Öğrenme (RLVR) fikrini buldular.
• Eğitim sinyalini yoğunlaştıran "Çoklu Token Tahmini" yoluyla Spekülatif Kod Çözme için basit bir strateji ortaya koydular.
• Sınırlı GPU kaynaklarının kullanımını iyileştirmek için "Sıfır balon" boru hatlarını mükemmelleştirdiler.
• Herkesin Uzman Karışımı modellerini dağıtmasını kolaylaştırmak için Uzman Yük Dengeleyici yayınladılar. Özellikle "Geniş Uzman Paralel" stratejisiyle, büyük gruplara sahip olunabildiği için modeller çok daha ekonomik bir şekilde sunulabiliyor.
• Artan bağlama karşı hesaplama talebini neredeyse sabit tutmak ve KV Önbellek ihtiyacını azaltmak için MLA, DSA, CSA, HCA'yı icat ettiler.
• Bellek ile hesaplama arasında takas yapmak için Engram'ı icat ettiler.
• Model boyutu büyüdükçe istikrarlı eğitim elde etmek için mHC'yi icat ettiler. Ve liste uzayıp gidiyor....

Kahramanın Yolculuğu hikaye yapısında (en evrensel olanı), kahraman yolculuğunun ne olacağına asla karar vermez. Yol boyunca öğrenir, kendisi için büyük bir görev bulur ve tüm zorluklara rağmen onu tamamlar. Pek çok kötü niyetli kişiyle karşılaşır, ancak onları görmezden gelir. Kötü niyetli aktörlerle tanışır. Büyük bir kusuru veya eksikliği vardır – ancak görevini yerine getirmek için bunların üstesinden gelir. Aşılmaz gibi görünen zorluklarla yüzleşir, ancak ittifaklar kurmayı ve değerli kaynakları akıllıca kullanmayı başarır. İzleyicinin kahramanı desteklemesini sağlayan şey budur. DeepSeek'e hayran kitlesini, küresel saygıyı ve aynı zamanda muhalifleri kazandıran da budur.

Size detaylı olarak göstereceğim gibi, DeepSeek bu yolculukta yeterince uzun süredir devam ediyor ve nihai kaderini keşfetti: kodlama planları satmak değil, 10 Trilyon Dolarlık bir Çinli AI donanım ekosistemini mümkün kılmak ve kendisi için 1 Trilyon Dolar değerlemeye ulaşmak. Bunu yaparken, batılı donanım ekosisteminde de birçok yeni oyuncunun ortaya çıkmasını sağlayacaklar.

Yorumlar ve eleştiriler için: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

KV Önbellek Hesaplamalarıyla Biraz Eğlence Başlıyor:

@SemiAnalysis_'dan bu zamanında atılmış tweeti okuyun:

Önce biraz eğlenceli KV önbellek matematiği yapalım. Matematiği sevmiyorsanız endişelenmeyin. Yakın zamanda yayınlanan KV Önbellek hesaplayıcısını kullanarak DeepSeek V4 Pro tarafından mümkün kılınan KV önbellek tasarrufunu görecek ve bunu en son GLM ve Qwen modelleriyle karşılaştıracağız.

1M bağlam için hesaplıyorum. 8 bit KV hassasiyeti ve 16 bit indeksleyici hassasiyeti varsayıyorum. Hesaplayıcı ile oynayabilirsiniz.

https://kvcache.ai/tools/kv-cache-calculator/

1M bağlam için

1. DeepSeek V4'ün yalnızca 5.48GB HBM'ye ihtiyacı var
2. GLM5'in 60GB HBM'ye ihtiyacı var
3. Qwen3-235B-A22B'nin tam 89B'ye ihtiyacı var

Dikkat edin

1. DeepSeek 1.6T parametreli bir model
2. GLM5 yaklaşık 700B parametreli, zaten DeepSeek'in MLA ve DSA'sını kullanıyor; ancak en son sıkıştırılmış dikkat mekanizmasını kullanmıyor
3. Qwen3-235B-A22B yaklaşık 235B boyutunda ve GQA dikkat mekanizması kullanıyor

DeepSeek, bellek üzerindeki baskıyı hafifletmek için temel bir katkı yaptı. Bu yenilik yaygın olarak benimsenirse, uzun vadeli aracıları oldukça ekonomik hale getirebilir ve bir sonraki kullanım senaryoları setini ortaya çıkarabilir.

Deliliğin Ardındaki Yöntem:

KV önbelleğinin bu küçük boyutu – kaliteden ödün vermeden – uzun süreli önbelleği bu kadar gülünç derecede düşük bir fiyata – Sonnet 4.6 için Önbellek isabetlerinin %3'ünden daha azına – sunabilmelerinin ve bunu saatlerce tutabilmelerinin nedenidir.

Uzun vadeli görevler için küçük miktardaki önbellek, SSD'lere boşaltmayı ve yeniden yüklemeyi çok uygun maliyetli hale getirir. Bu, Çinli AI donanım endüstrisi açısından arzı kıt ve üretilmesi en zor bellek türü olan HBM ihtiyacını azaltır. DeepSeek ayrıca Dual Path makalesinde açıklandığı gibi KV önbelleğini SSD'den daha hızlı yüklemek için teknikler geliştirmiştir.

KV Önbellek Sıkıştırmasının Hemen Yararlanıcısı Kim?:

Büyük miktarda SSD'yi kim tedarik ediyor? YMCT'nin 3D NAND devi olarak ortaya çıktığını hatırlayın. NAND, DeepSeek'in KV'leri yeniden hesaplamaktan kaçınmasını sağlar. Buna karşılık DeepSeek, yalnızca YMTC'nin değil, herkesin NAND ve SSD'si için büyük bir pazar yaratır.

Ancak İş Sadece NAND ve SSD ile İlgili Değil:

LPDDR belleği, ağırlıkları tutmak ve gerektiğinde HBM'ye aktarmak için bir yer olma potansiyeline sahiptir ve HBM talebi üzerindeki baskıyı azaltır. SGLang ekibi bu konuda harika bir blog yayınladı. Aşağıda şemanın nasıl çalıştığını açıklamak için bir diyagram sunuyorum.

DeepSeek bu konuda özel bir şey yapmamış olsa da – çok sayıda uzman ve 4 bit ağırlık içeren MoE mimarileri bu şemanın uygulanmasını kolaylaştırır.

Bu yenilik, süper kompakt KV Önbellek (kayıpsız) ile birleştiğinde HBM talebini önemli ölçüde azaltır.

Çin'de LPDDR'yi kim yapıyor? CXMT. Hız konusunda LPDDR'de sadece 0.5 Nesil ve yoğunlukta 1 nesil gerideler. Çok uzak değil! Buna bol miktarda NAND eklendiğinde, Çin ekosistemi yakın gelecekte bol miktarda LPDDR'ye sahip olacak. Bu, hesaplama üzerindeki baskıyı hafifletebilir mi? EVET. Devam ediyor..

Akıllı Bellek Kullanımı GPU/ASIC'ler Üzerindeki Baskıyı da Azaltır

KV önbelleği için NAND kullanımının, KV önbelleğini daha uzun süre tutmaya, HBM üzerindeki baskıyı azaltmaya ve KV önbelleğinin yeniden hesaplanmasını önlemeye yardımcı olduğunu anlamak oldukça açıktır; bu da GPU'lar ve ASIC'ler üzerindeki hesaplama baskısını hafifletir. LPDDR de benzer şekilde yardımcı olabilir mi, ayrıca ağırlıkların "tam zamanında" aktarılabileceği bir yer olmanın yanı sıra? Cevap EVET.

LPDDR, "Engram" olarak bilinen büyük miktarda veriyi tutmayı destekler. Engram makalelerinde DeepSeek, MoE'nin kapasiteyi koşullu hesaplama yoluyla ölçeklendirirken, Transformer'ların bilgi araması için yerel bir ilkel öğeye sahip olmadığını gösterdi. Aramayı hesaplama yoluyla verimsiz bir şekilde simüle etmek zorunda kalıyorlar. Klasik N-gram yerleştirmeyi O(1) hash tabanlı bir aramaya dönüştüren ve koşullu bellek adını verdikleri tamamlayıcı bir seyreklik ekseni oluşturan bir modül olan Engram'ı tanıtıyorlar. Bu, hesaplamadan tasarruf sağlar, ancak boyutu büyük olabilen yerleştirme tablosunu barındırmak için belleğe ihtiyaç duyar. Klasik bir bellek-hesaplama ikamesidir, ancak "bellek" tarafının bit başına alınan bilgide (bir LPDDR araması vs. transformatör katmanları boyunca tam bir ileri geçiş) dramatik olarak daha ucuz olması içgörüsüyle, bu ölçekte çok avantajlı bir takas haline gelir. Belleği kullanarak hesaplamadan bu şekilde tasarruf ediyorlar!!!

Yapmaya Değer Takaslar: Çinli GPU'lar ve ASIC'ler, aynı transistör yoğunluğuna (EUV yok) sahip olmadıkları için saf FLOP'larda batılı GPU'ların her zaman gerisinde kalacaklar. Paketlemede de oldukça gerideler. Bu nedenle, özellikle bol miktarda NAND ve LPDDR belleği yapabiliyorsanız, bu tür takaslar yapmaya değer.

DeepSeek'in Uzun Vadedeki Oyunu Tekrar Anlatılıyor:

Tüm bu yeniliklerden yola çıkarak, DeepSeek'in oyunu, verdikleri tüm kararlar göz önüne alındığında (henüz çok modluluk yok, ses modelleri yok, video – o da ne?) birkaç yüz milyonluk anlık karlar gibi görünmüyor – ancak alternatif bir donanım ekosistemini mümkün kılmak için sabırlı bir 10 Trilyon Dolarlık oyun oynuyorlar.

Bu sadece Çinli bellek oyuncularını Çin ve küresel AI donanım arenasında kilit oyuncular haline getirmekle ilgili değil, aynı zamanda kaynak talebini azaltarak AI modellerini uygun maliyetli bir şekilde eğitip sunabilmekle ilgilidir – bu, birçok GPU/ASIC üreticisinin yanı sıra ağ çipi üreticilerinin de uygulanabilir seçenekler haline gelmesini sağlayacaktır. Tüm bu yenilikler ayrıca Batılı açık kaynak ekosistemine ve yeni donanım üreticilerine de yardımcı olacaktır.

Tüm işaretler ortada. Sadece ortaya koydukları tüm yenilikleri detaylıca tekrar anlatalım:

1. DeepSeek V2'de tanıtılan Uzman Karışımı (MoE) ve MLA. MoE, %40 ila %50 daha az hesapla çok zeki modellerin eğitilmesini mümkün kıldı. MLA, KV önbelleğini %90 oranında azaltmayı mümkün kıldı. Bu, KV önbelleğini SSD'ye boşaltmayı oldukça verimli hale getirdi. Bu fikirler, Mayıs 2024 tarihli DeepSeek V2 makalelerinde tanıtıldı. Daha sonra, o sırada yalnızca 2048 adet kısıtlanmış H800 GPU ile neredeyse kapalı kaynak olan DeepSeek V3'ün eğitimini mümkün kıldı.

1. Uzun bağlam senaryoları için hesaplamayı azaltmak ve ayrıca HBM bant genişliği üzerindeki baskıyı hafifletmek için DSA (DeepSeek V3.2 Exp'te tanıtıldı). Hesaplamanın artan bağlamla birlikte büyümemesini sağlar. Lütfen aşağıdaki tablolara bakın – DeepSeek-v3.2 için işlem süresi bağlamla birlikte sabit kalıyor.

1. Aralık 2025'te mHC: Manifold- Constrained Hyper-Connections makalesinde tanıtılan mHC. mHC, DeepSeek'ten gelen ve bilginin transformatör katmanları arasında nasıl aktığını yeniden tasarlayan bir makro-mimari yeniliğidir. ResNet'ten beri kullanılan standart artık bağlantı (x + F(x)) yerine mHC, artık akışı birden çok paralel bilgi otoyoluna genişletir ve aralarında öğrenilmiş karışıma izin verir – ancak çok önemli bir şekilde, karıştırma matrislerini çift stokastik olacak şekilde kısıtlar (Birkhoff politopu üzerine Sinkhorn-Knopp izdüşümü yoluyla), bu da sinyal büyüklüğünün keyfi derinlik boyunca korunacağını matematiksel olarak garanti eder.

• Bu, başlangıçta ByteDance'de icat edilen Kısıtlanmamış Hiper-Bağlantılar'ı (Hyper-Connections) rahatsız eden felaket kararsızlığı çözer; burada sinyal amplifikasyonu 27B ölçeğinde 3000 kata fırlayarak eğitimi tamamen çökertiyordu.
• Hesaplama maliyeti minimumdur: mHC, dikkat veya FFN katmanlarının FLOP'larını değiştirmediği için yalnızca %6.7 duvar saati eğitim ek yükü ekler, yalnızca çıktılarının katmanlar arasında nasıl yönlendirildiğini değiştirir.
• Bununla birlikte, performans kazanımları önemlidir: 27B parametrede mHC, aynı model boyutunda ve neredeyse aynı hesaplama bütçesinde BIG-Bench Hard akıl yürütmede +7.2 puan, DROP'ta +3.2, GSM8K matematiğinde +2.8 ve MMLU genel bilgide +1.4 puan sağlar.

Özünde mHC, ağa bilgiyi katmanlar arasında yönlendirmek için daha zengin, daha ifade gücü yüksek bir topoloji vererek ve neredeyse hiç ek FLOP ödemeyerek parametre başına anlamlı ölçüde daha yüksek zeka elde eder.

1. KV tokenlerini sıkıştırarak KV ihtiyacını %90 daha azaltan ve hem HBM hem de GPU/ASIC üzerindeki baskıyı hafifleterek büyük ölçüde ihtiyaç duyulan FLOP'ları azaltan CSA, HSA (Nisan 2026'da DeepSeek V4'te tanıtıldı).

1. 2026'nın ilk çeyreğinde tanıtılan Engram – bir şekilde belleği (LPDDR belleği) hesaplama ile takas ederler. Aşağıdaki detaylı grafik, aynı genel parametre bütçesinde Engram nedeniyle elde edilen performans kazancını göstermektedir.

1. Hesaplama ve İletişim örtüşmesine aşırı odaklanma ve Çift Yol gibi yenilikler, kaynak kısıtlamasına yönelik geçici çözümler olarak açıklanabilir. Ancak DeepSeek, donanım satıcılarına ASIC tasarımları konusunda danışmanlık yaparak değerli silikon kaynaklarını boşa harcamamalarını sağlamak için daha da ileri gider. Bu, DeepSeek V4 makalesinden alınmıştır.

1. TileLang'e yapılan yatırım, yalnızca kendi hesaplama sıkıntılarıyla uğraşmadıkları, aynı zamanda Çinli donanım ekosistemini Batılı ekosistemle rekabetçi hale getirdikleri tutarlı yönü işaret ediyor. TileLang ile bir kez çekirdek (hesaplama kodu) geliştirmek ve TileLang arka ucunun mevcut olduğu birden çok donanım platformunda başarıyla çalıştırmak mümkündür. Diğer tüm Çin merkezli laboratuvarların da katılmasını bekliyorum – bu, Çinli donanım üreticilerinin "CUDA hendeği" ile dolaylı olarak başa çıkmasına yardımcı oluyor. Bu ayrıca AMD gibi daha fazla Batılı donanımın kilidini açar.

Not: Çin'deki birçok AI platformu ya CUDA uyumluluğu ya da CUDA çeviri katmanı sağlar: Moore Threads, MetaX, Biren ve Iluvatar CoreX, çeviri katmanları aracılığıyla en CUDA uyumlu Çin çipleridir. Teoride TileLang'e ihtiyaç duymazlar.

Büyük Ölçekli RL ve RSI:

Daha fazla hesaplama gücüne (daha fazla potansiyel donanım seçeneği sayesinde) erişim ve hesaplama talebinin azalmasıyla DeepSeek, çok daha iddialı eğitim projelerini, özellikle de RL sonrası eğitimi üstlenebilir. RL, çok sayıda yörünge oluşturmayı içerir – trilyonlarca token üretmek. Bu, gerçekten hızlı bir şekilde pahalı hale gelebilir. Ayrıca 1M bağlam modelleri eğitmek için bu kadar uzun yörüngeler oluşturmanız gerekir. Bu tür uzun yörüngeler için modeller eğitmek, uzun vadeli görevleri mümkün kılar.

Ayrıca, artan seçenekler nedeniyle DeepSeek'te daha fazla donanım bulunması, otomatik araştırmayı (RSI) mümkün kılacaktır. RSI, AI'ın kendisinin deneyler tasarlamasını ve yürütmesini içerir. Yaklaşım çok sayıda deneme yanılma içerir ve çok hızlı bir şekilde maliyetli hale gelebilir. Bununla birlikte, RSI tüm tasarım alanını keşfetmek için önemlidir. DeepSeek'in AGI'ye ve ardından ASI'ye ulaşmadan önce RSI yeteneğine sahip olması gerekecektir.

DeepSeek'in Bugün Yaptığını, Sektörün Geri Kalanı Yarın Yapar:

DeepSeek'in Uzman Karışımı, MLA, DSA etrafındaki yenilikleri, dünyanın dört bir yanındaki ve Çin'deki diğer AI laboratuvarları tarafından benimsendi.

Örneğin, GLM model ailesinin üreticileri ZAI, MLA ve DSA kullanıyor. Kimi (Moonshot), MLA'yı benimsedi ve mimarilerinin DeepSeek'in mimarisine dayandığını söylemekten çekinmiyor. Buna karşılık DeepSeek, ilk olarak Kimi (Moonshot) tarafından büyük ölçekli eğitim için kullanılan Muon optimize ediciyi kullanıyor.

(NOT:

• MoE, Google'da 2017'de Naom Shazeer tarafından icat edildi. DeepSeek bunu büyük ölçekte uyguladı ve kendi taktiklerini icat etti.

• Muon (Newton-Schulz ile Ortogonalize Edilmiş Momentum) optimize edici, makine öğrenimi araştırmacısı Keller Jordan tarafından 2024'ün sonlarında oluşturuldu. Kimi (Moonshot) ekibi, onu büyük ölçekte kullanan ilk ekipti.)

Peki Para Kazanmak?:

OpenAI'nin ilginç bir örneğini inceleyelim. OpenAI, tüketim kilometre taşlarına bağlı olarak AMD ve Cerebras hisselerini düşük bir fiyattan satın alma garantisi/opsiyonu aldı. Bu, AMD ve Cerebras için harika bir anlaşma. OpenAI'nin onlara bağlı olması, uzun vadede başarılı olma olasılıklarını artırıyor.

AMD duyurusundan alıntı: "Anlaşmanın bir parçası olarak, stratejik çıkarları daha da uyumlu hale getirmek için AMD, OpenAI'e belirli kilometre taşlarına ulaşıldıkça hak kazanılacak şekilde yapılandırılmış 160 milyona kadar AMD adi hisse senedi için bir garanti vermiştir. İlk dilim, ilk 1 gigawatt dağıtımıyla hak kazanır ve satın almalar 6 gigawatt'a kadar ölçeklendikçe ek dilimler hak kazanır. Hak kazanma ayrıca AMD'nin belirli hisse senedi fiyatı hedeflerine ulaşmasına ve OpenAI'nin AMD dağıtımlarını ölçekte mümkün kılmak için gereken teknik ve ticari kilometre taşlarını gerçekleştirmesine bağlıdır."

DeepSeek'in, birden fazla Çinli bellek, ASIC, CPU ve ağ yığını üreticisiyle bu tür anlaşmalara gireceğini ve önde gelen AI iş yükleri için donanım yığınlarını uygulanabilir kılmak üzere onlarla yakın işbirliği yapacağını tahmin ediyorum.

Tüm Batılı (Doğu Asyalı müttefikler dahil) AI hisselerinin birleşik değerlemesi 10 Trilyon Doları çok aşıyor. Bu – öz sermaye veren işbirliği – yaklaşımı, DeepSeek'in Çin'de eşit derecede büyük bir endüstri yaratmasına ve kendisi için 1 Trilyon Dolar değerlemeye ulaşırken pastadan kendi payını almasına olanak tanır.

Bu, kendi ifadeleriyle "herkes için AGI" hedefine ulaşırken çok daha fazla para kazanmalarını sağlayacaktır. Jim Simmon'un büyük bir hayranı olan Liang Wenfeng, bunu kaçırmayacak kadar akıllı bir kapitalist!

DeepSeek'in bugüne kadar yaptığı her şeye bakarsanız, anlamlı olan tek şey budur...

Bu yenilikler hakkında detaylı blog bu hafta sonu yayınlanacak, ilgileniyorsanız substack'imi takip edin https://polymath707.substack.com/