กลยุทธ์ระดับหมื่นล้านล้านดอลลาร์ของ DeepSeek

คุณเคยสงสัยไหมว่า DeepSeek จะทำเงินได้อย่างไร และทำเงินได้มหาศาล?

พวกเขาไม่ได้คิดแผนการเขียนโค้ดที่แข่งขันได้เหมือน GLM, MoonShot และ MiniMax พวกเขาไม่มีโมเดล multimodal, เสียง, วิดีโอ จนถึงทุกวันนี้พวกเขายังไม่มีระบบควบคุม (harness) (เพิ่งเริ่มจ้างคนมาสร้าง harness เมื่อไม่นานนี้)? DeepSeek ยังมุ่งมั่นที่จะเป็นโอเพนซอร์สในระยะยาวและเต็มใจที่จะแบ่งปันเคล็ดลับความสำเร็จของพวกเขา นี่มันบ้าหรือเปล่า? นี่เป็นการสิ้นเปลืองเงินโดยเปล่าประโยชน์หรือไม่? นักลงทุนที่กำลังจะทุ่มเงิน 10 พันล้านดอลลาร์สหรัฐให้พวกเขากำลังโยนเงินทิ้งลงท่อระบายน้ำหรือเปล่า?

ไม่เลย - ตรงกันข้ามเลยทีเดียว ในความคิดของฉัน!!!

นี่คือข้อสังเกตเกี่ยวกับสิ่งที่พวกเขาทำมาจนถึงตอนนี้ และกลยุทธ์ที่ดูเหมือนพวกเขากำลังดำเนินตาม เหลียง เหวินเฟิง (CEO ของ DeepSeek) ดูเหมือนจะมีเป้าหมายที่ใหญ่กว่านั้นมาก และพวกเขาสามารถบรรลุมูลค่าประเมิน 1 ล้านล้านดอลลาร์สหรัฐ ในขณะที่ช่วยสร้างอุตสาหกรรมมูลค่า 10 ล้านล้านดอลลาร์สหรัฐ!

ทบทวนเส้นทางวีรบุรุษของ DeepSeek

DeepSeek มักจะเดินสวนทางกับกระแสการสร้างโมเดลที่เก่งขึ้นทีละน้อยและพยายามขายแอปพลิเคชันทันที เช่น แผนการเขียนโค้ด ฉันเขียนทวีตที่กลายเป็นไวรัลเมื่อวันที่ 27 มกราคม 2025 เกี่ยวกับสิ่งที่ฉันมองว่าเป็น เส้นทางวีรบุรุษของ DeepSeek เรื่องราวยิ่งน่าสนใจมากขึ้นเรื่อยๆ

• ในขณะที่คนอื่นพยายามสร้างโมเดลแบบหนาแน่น (dense models) DeepSeek หันไปใช้โมเดลแบบ Mixture of Expert (MoE) ซึ่งฝึกได้ยาก
• พวกเขาทำงานจากแนวทาง 'หลักการแรก' (first principle) และคิดค้นอัลกอริทึมใหม่ GRPO เพื่อแทนที่อัลกอริทึม PPO ที่โดดเด่นสำหรับ Reinforcement Learning (RL) ซึ่งมีค่าใช้จ่ายสูงกว่าในการนำไปใช้
• พวกเขาค้นพบ Reinforcement Learning from Verified Rewards (RLVR) เป็นกลยุทธ์สำคัญในการปรับปรุงความสามารถในการใช้เหตุผลของโมเดล
• พวกเขาคิดกลยุทธ์ง่ายๆ สำหรับ Speculative Decoding ผ่าน "Multi Token Prediction" ซึ่งยังทำให้สัญญาณการฝึกมีความหนาแน่นมากขึ้น
• พวกเขาทำให้ไปป์ไลน์ "ZERO bubble" สมบูรณ์แบบเพื่อปรับปรุงการใช้ทรัพยากร GPU ที่จำกัด
• พวกเขาเผยแพร่ Expert Load balancer เพื่อให้ทุกคนปรับใช้โมเดล Mixture of Expert ได้ง่าย โดยเฉพาะอย่างยิ่งกับกลยุทธ์ "Wide Expert Parallel" ทำให้สามารถให้บริการโมเดลได้ประหยัดมากขึ้นเพราะสามารถมี batch ขนาดใหญ่ได้
• พวกเขาคิดค้น MLA, DSA, CSA, HCA เพื่อลดความต้องการ KV Cache และรักษาความต้องการในการคำนวณให้คงที่เมื่อเทียบกับบริบทที่เพิ่มขึ้น
• พวกเขาคิดค้น Engram เพื่อแลกเปลี่ยนหน่วยความจำกับการคำนวณ
• พวกเขาคิดค้น mHC เพื่อให้การฝึกมีเสถียรภาพเมื่อขนาดโมเดลเพิ่มขึ้น และรายการก็ยังมีอีกมาก....

ในโครงสร้างเรื่องราวการเดินทางของวีรบุรุษ (ที่เป็นสากลที่สุด) ฮีโร่ไม่เคยตัดสินใจว่าการเดินทางของเขาจะเป็นอย่างไร เขาเรียนรู้ไปตามทางและค้นพบภารกิจที่ยิ่งใหญ่สำหรับตัวเอง และทำให้สำเร็จท่ามกลางอุปสรรคทั้งปวง เขาพบผู้ว่ากล่าวมากมาย แต่เขาไม่สนใจ เขาพบคนที่คิดร้ายมากมาย เขามีข้อบกพร่องหรือจุดอ่อนที่ยิ่งใหญ่ - แต่เขาเอาชนะมันเพื่อบรรลุภารกิจของเขา เขาเผชิญกับความท้าทายที่ดูเหมือนจะผ่านไม่ได้ แต่หาทางสร้างพันธมิตรและใช้ทรัพยากรอันมีค่าอย่างชาญฉลาด นี่คือสิ่งที่ทำให้ผู้ชมเชียร์ฮีโร่ นี่คือสิ่งที่ทำให้ DeepSeek ได้รับฐานแฟนคลับ ความเคารพระดับโลก และผู้ว่ากล่าวเช่นกัน

ดังที่ฉันจะแสดงให้คุณเห็นโดยละเอียด DeepSeek อยู่ในการเดินทางนี้มานานพอสมควรแล้ว และได้ค้นพบจุดหมายปลายทางสูงสุดแล้ว: มันไม่ใช่การขายแผนการเขียนโค้ด แต่เป็นการสร้างระบบนิเวศฮาร์ดแวร์ AI ของจีนมูลค่า 10 ล้านล้านดอลลาร์สหรัฐ และบรรลุมูลค่าประเมิน 1 ล้านล้านดอลลาร์สหรัฐสำหรับตัวเอง ในการทำเช่นนี้ พวกเขาจะเปิดโอกาสให้ผู้เล่นหน้าใหม่มากมายในระบบนิเวศฮาร์ดแวร์ตะวันตกเช่นกัน

ยินดีต้อนรับความคิดเห็นและคำวิจารณ์: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

เริ่มต้นด้วยความสนุกกับการคำนวณ KV Cache:

อ่านทวีตที่ทันเหตุการณ์นี้จาก @SemiAnalysis_ :

มาคำนวณ KV cache แบบสนุกๆ กันก่อน ไม่ต้องกังวลถ้าคุณไม่ชอบคณิตศาสตร์ เราจะใช้เครื่องคำนวณ KV Cache ที่เพิ่งเปิดตัวเพื่อดูการประหยัด KV Cache ที่เป็นไปได้โดย DeepSeek V4 Pro และเปรียบเทียบกับโมเดล GLM และ Qwen ล่าสุด

ฉันคำนวณสำหรับบริบท 1M ฉันสมมติความแม่นยำ KV แบบ 8 บิต และความแม่นยำของ indexer แบบ 16 บิต คุณสามารถลองเล่นกับเครื่องคำนวณได้

https://kvcache.ai/tools/kv-cache-calculator/

สำหรับบริบท 1M

1. DeepSeek V4 ต้องการ HBM เพียง 5.48GB
2. GML5 ต้องการ HBM 60GB
3. Qwen3-235B-A22B ต้องการมากถึง 89GB

โปรดทราบ

1. DeepSeek เป็นโมเดลพารามิเตอร์ 1.6T
2. GLM5 มีพารามิเตอร์ประมาณ 700B มันใช้ MLA และ DSA ของ DeepSeek อยู่แล้ว แม้ว่าจะไม่ใช่ compressed attention ล่าสุดก็ตาม
3. Qwen3-235B-A22B มีประมาณ 235B และใช้ GQA attention

DeepSeek มีส่วนร่วมพื้นฐานในการลดแรงกดดันด้านหน่วยความจำ หากนวัตกรรมนี้ถูกนำไปใช้อย่างแพร่หลาย มันจะทำให้เอเจนต์ระยะยาว (long horizon agents) มีต้นทุนที่ต่ำมาก และปลดล็อกกรณีการใช้งานชุดต่อไป

วิธีการที่อยู่เบื้องหลังความบ้าคลั่ง:

ขนาด KV cache ที่เล็กนี้ - โดยไม่ลดทอนคุณภาพ - เป็นเหตุผลที่พวกเขาสามารถเสนอ cache แบบยาวในราคาที่ต่ำอย่างน่าขัน - น้อยกว่า 3% ของราคา Cache hits สำหรับ Sonnet 4.6 - และพวกเขาเก็บไว้เป็นเวลาหลายชั่วโมง

cache จำนวนเล็กน้อยสำหรับงานระยะยาวทำให้สามารถถ่ายโอนไปยัง SSD และโหลดซ้ำได้อย่างคุ้มค่ามาก ซึ่งช่วยลดความต้องการ HBM ที่มีอุปทานจำกัดและเป็นหน่วยความจำที่ผลิตยากที่สุดจากมุมมองของอุตสาหกรรมฮาร์ดแวร์ AI ของจีน DeepSeek ยังได้พัฒนาเทคนิคในการโหลด KV cache จาก SSD ได้เร็วขึ้นตามที่อธิบายไว้ ในรายงาน Dual Path

ใครคือผู้ได้รับประโยชน์ทันทีจากการบีบอัด KV Cache?:

ใครเป็นผู้จัดหา SSD ในปริมาณมาก? จำไว้ว่า YMCT กำลังกลายเป็นยักษ์ใหญ่ด้าน 3D NAND NAND ช่วยให้ DeepSeek หลีกเลี่ยงการคำนวณ KVs ซ้ำ ในทางกลับกัน DeepSeek สร้างตลาดขนาดใหญ่สำหรับ NAND และ SSD - ไม่ใช่แค่ของ YMTC แต่ของทุกคนด้วย

อย่างไรก็ตาม มันไม่ใช่แค่เรื่องของ NAND และ SSD:

หน่วยความจำ LPDDR มีศักยภาพที่ดีที่จะเป็นสถานที่สำหรับเก็บน้ำหนัก (weights) และสตรีมเข้าสู่ HBM ตามต้องการ ซึ่งช่วยลดแรงกดดันต่อความต้องการ HBM ทีม SGLang ได้เผยแพร่บล็อกที่ยอดเยี่ยมเกี่ยวกับเรื่องนี้ ฉันนำเสนอแผนภาพด้านล่างเพื่ออธิบายว่าโครงร่างนี้ทำงานอย่างไร

แม้ว่า DeepSeek จะไม่ได้ทำอะไรเฉพาะสำหรับสิ่งนี้ - สถาปัตยกรรม MoE ของพวกเขาที่มีผู้เชี่ยวชาญจำนวนมากและน้ำหนัก 4 บิต ทำให้ง่ายต่อการนำโครงร่างนี้ไปใช้

นวัตกรรมนี้รวมกับ KV Cache ที่กะทัดรัดเป็นพิเศษ (แบบไม่สูญเสียข้อมูล) ช่วยลดความต้องการ HBM ได้อย่างมาก

ใครในจีนที่ผลิต LPDDR? CXMT พวกเขาตามหลังด้านความเร็วสำหรับ LPDDR เพียง 0.5 เจนเนอเรชั่น และตามหลังด้านความหนาแน่น 1 เจนเนอเรชั่น ไม่ไกลมาก! นอกจาก NAND ที่มีอยู่อย่างอุดมสมบูรณ์แล้ว ระบบนิเวศของจีนจะมี LPDDR มากมายในอนาคตอันใกล้นี้ สิ่งนี้สามารถลดแรงกดดันด้านการคำนวณได้หรือไม่? ใช่ ติดตามต่อ..

การใช้หน่วยความจำอย่างชาญฉลาดยังช่วยลดแรงกดดันต่อ GPU/ASIC ด้วย

เป็นที่ชัดเจนว่าการใช้ NAND สำหรับ KV cache ช่วยให้เก็บ KV cache ได้นานขึ้น ลดแรงกดดันของ HBM และช่วยหลีกเลี่ยงการคำนวณ KV cache ซ้ำ ซึ่งช่วยลดแรงกดดันด้านการคำนวณบน GPU และ ASIC LPDDR สามารถช่วยในลักษณะเดียวกันได้หรือไม่ นอกเหนือจากการเป็นสถานที่ที่สามารถสตรีมน้ำหนักแบบ "ทันเวลาพอดี" (just in time)? คำตอบคือ ใช่

LPDDR รองรับการเก็บสิ่งที่เรียกว่า "Engram" จำนวนมาก ใน รายงาน Engram DeepSeek แสดงให้เห็นว่าในขณะที่ MoE ปรับขนาดความจุผ่านการคำนวณแบบมีเงื่อนไข (conditional computation) Transformers ขาดพื้นฐานดั้งเดิมสำหรับการค้นหาความรู้ (knowledge lookup) พวกมันถูกบังคับให้จำลองการค้นหาอย่างไม่มีประสิทธิภาพผ่านการคำนวณ พวกเขาแนะนำ Engram ซึ่งเป็นโมดูลที่ปรับปรุง N-gram embedding แบบคลาสสิกให้เป็นการค้นหาแบบแฮช O(1) สร้างแกนความกระจัดกระจาย (sparsity axis) เสริมที่พวกเขาเรียกว่าหน่วยความจำแบบมีเงื่อนไข (conditional memory) สิ่งนี้ช่วยประหยัดการคำนวณ แต่ต้องใช้หน่วยความจำเพื่อโฮสต์ตาราง embeddings ซึ่งอาจมีขนาดใหญ่ เป็นการทดแทนหน่วยความจำ-การคำนวณแบบคลาสสิก แต่ด้วยข้อมูลเชิงลึกที่ว่าด้าน "หน่วยความจำ" นั้นถูกกว่าอย่างมากต่อบิตที่ดึงมา (การค้นหา LPDDR เทียบกับการส่งผ่านไปข้างหน้าเต็มรูปแบบผ่านเลเยอร์ Transformer) ทำให้เป็นการแลกเปลี่ยนที่ได้เปรียบมากในระดับขนาดใหญ่ นี่คือวิธีที่พวกเขาประหยัดการคำนวณโดยการแลกเปลี่ยนกับหน่วยความจำ!!!

การแลกเปลี่ยนที่คุ้มค่า: GPU และ ASIC ของจีนจะตามหลังในด้าน FLOPs ดิบเมื่อเทียบกับ GPU ตะวันตกตลอดไป เนื่องจากไม่มีทรานซิสเตอร์ความหนาแน่นต่อชิปเล็ตเท่ากัน (ไม่มี EUV) พวกเขายังตามหลังในด้านการบรรจุ (packaging) อีกด้วย ดังนั้นการแลกเปลี่ยนเช่นนี้จึงคุ้มค่า โดยเฉพาะอย่างยิ่งหากคุณสามารถผลิต NAND และหน่วยความจำ LPDDR ได้อย่างอุดมสมบูรณ์

เกมระยะยาวของ DeepSeek เล่าอีกครั้ง:

จากนวัตกรรมทั้งหมดนี้ เกมของ DeepSeek ดูเหมือนจะไม่ใช่ผลกำไรทันทีสองสามร้อยล้านเมื่อพิจารณาจากตัวเลือกทั้งหมดที่พวกเขาได้ทำ (ยังไม่มี multimodal, ไม่มีโมเดลเสียง, วิดีโอ - นั่นอะไร?) - แต่พวกเขากำลังเล่นเกมมูลค่า 10 ล้านล้านดอลลาร์สหรัฐอย่างอดทนเพื่อเปิดใช้งานระบบนิเวศฮาร์ดแวร์ทางเลือก

มันไม่ใช่แค่การทำให้ผู้เล่นหน่วยความจำจีนเป็นผู้เล่นหลักในเวทีฮาร์ดแวร์ AI ของจีนและทั่วโลก แต่ยังรวมถึงการลดความต้องการทรัพยากรเอง เพื่อให้สามารถฝึกและให้บริการโมเดล AI ได้อย่างคุ้มค่า - สิ่งนี้จะเปิดโอกาสให้ผู้ผลิต GPU/ASIC รวมถึงผู้ผลิตชิปเครือข่ายจำนวนมาก เนื่องจากพวกเขาจะกลายเป็นตัวเลือกที่เป็นไปได้ นวัตกรรมทั้งหมดนี้จะช่วยระบบนิเวศโอเพนซอร์สตะวันตกและผู้ผลิตฮาร์ดแวร์รายใหม่ด้วย

สัญญาณทั้งหมดมีอยู่แล้ว ให้เราเล่ารายละเอียดนวัตกรรมทั้งหมดที่พวกเขาคิดขึ้นมา:

1. Mixture of Expert (MoE) และ MLA เปิดตัวใน DeepSeek V2 MoE ทำให้สามารถฝึกโมเดลที่ชาญฉลาดมากโดยใช้การคำนวณน้อยลง 40 ถึง 50% MLA ทำให้สามารถลด KV cache ได้ 90% ทำให้การถ่ายโอน KV cache ไปยัง SSD มีประสิทธิภาพมาก แนวคิดเหล่านี้ถูกนำเสนอในรายงานเดือนพฤษภาคม 2024 DeepSeek V2 ต่อมาได้ปลดล็อกการฝึก DeepSeek V3 ซึ่งในขณะนั้นใกล้จะเป็นโอเพนซอร์ส โดยใช้ GPU H800 ที่ถูกลดประสิทธิภาพเพียง 2048 ตัว

1. DSA (เปิดตัวใน DeepSeek V3.2 Exp) เพื่อลดการคำนวณสำหรับสถานการณ์บริบทยาว และลดแรงกดดันต่อแบนด์วิดท์ HBM ทำให้แน่ใจว่าการคำนวณไม่เพิ่มขึ้นตามบริบทที่เพิ่มขึ้น โปรดดูแผนภูมิด้านล่าง - เวลาในการประมวลผลสำหรับ DeepSeek-v3.2 คงที่ตามบริบท

1. mHC เปิดตัวในเดือนธันวาคม 2025 ในรายงาน mHC: Manifold-Constrained Hyper-Connections mHC เป็นนวัตกรรมสถาปัตยกรรมมหภาคจาก DeepSeek ที่คิดค้นใหม่ว่าข้อมูลไหลระหว่างเลเยอร์ Transformer อย่างไร แทนที่จะเป็นการเชื่อมต่อส่วนที่เหลือมาตรฐาน (x + F(x)) ที่ใช้ตั้งแต่ ResNet, mHC ขยายสตรีมส่วนที่เหลือเป็นทางหลวงข้อมูลคู่ขนานหลายทางและอนุญาตให้ผสมผสานที่เรียนรู้ได้ระหว่างกัน - แต่ที่สำคัญคือจำกัดเมทริกซ์การผสมให้เป็น doubly stochastic (ผ่านการฉาย Sinkhorn-Knopp ไปยัง Birkhoff polytope) ซึ่งรับประกันทางคณิตศาสตร์ว่าขนาดสัญญาณจะถูกรักษาไว้ตลอดความลึกตามอำเภอใจ

• สิ่งนี้แก้ปัญหาความไม่เสถียรที่ร้ายแรงซึ่งรบกวน Hyper-Connections ที่ไม่มีข้อจำกัด (คิดค้นครั้งแรกที่ ByteDance) ซึ่งการขยายสัญญาณระเบิดเป็น 3000 เท่าที่ขนาด 27B ทำให้การฝึกพังทลายโดยสิ้นเชิง
• ต้นทุนการคำนวณน้อยมาก: mHC เพิ่มค่าใช้จ่ายในการฝึกตามเวลาจริงเพียง 6.7% เนื่องจากไม่เปลี่ยน FLOPs ของเลเยอร์ attention หรือ FFN มีเพียงวิธีการกำหนดเส้นทางเอาต์พุตระหว่างเลเยอร์เท่านั้น
• อย่างไรก็ตาม ประสิทธิภาพที่เพิ่มขึ้นนั้นมีนัยสำคัญ: ที่พารามิเตอร์ 27B, mHC ให้คะแนน +7.2 ในการใช้เหตุผล BIG-Bench Hard, +3.2 ใน DROP, +2.8 ใน GSM8K คณิตศาสตร์ และ +1.4 ใน MMLU ความรู้ทั่วไป ทั้งหมดนี้ที่ขนาดโมเดลเท่ากันและงบประมาณการคำนวณเกือบเท่ากัน

โดยสรุป mHC บรรลุความฉลาดต่อพารามิเตอร์ที่สูงขึ้นอย่างมีความหมายโดยการให้เครือข่ายมีโทโพโลยีที่สมบูรณ์และแสดงออกมากขึ้นสำหรับการกำหนดเส้นทางข้อมูลข้ามเลเยอร์ ในขณะที่แทบไม่ต้องจ่าย FLOPs เพิ่มเติม

1. CSA, HSA (เปิดตัวใน DeepSeek V4 ในเดือนเมษายน 2026) เพื่อลดความต้องการ KV อีก 90% โดยการบีบอัดโทเค็น KV และลด FLOPs ที่จำเป็นลงอย่างมาก ช่วยลดแรงกดดันทั้ง HBM และ GPU/ASIC

1. Engram เปิดตัวในไตรมาสที่ 1 ปี 2026 ซึ่งพวกเขาแลกเปลี่ยนหน่วยความจำ (หน่วยความจำ LPDDR) กับการคำนวณ (ในทางใดทางหนึ่ง) ดังแผนภูมิโดยละเอียดต่อไปนี้แสดงประสิทธิภาพที่เพิ่มขึ้นเนื่องจาก Engram ที่งบประมาณพารามิเตอร์โดยรวมเท่ากัน

1. การมุ่งเน้นอย่างมากในการทับซ้อนของการคำนวณและการสื่อสาร และนวัตกรรมอย่าง Dual Path สามารถอธิบายได้ว่าเป็นวิธีการแก้ไขปัญหาข้อจำกัดด้านทรัพยากร แต่ DeepSeek ไปไกลกว่านั้นด้วยการให้คำแนะนำแก่ผู้จำหน่ายฮาร์ดแวร์เกี่ยวกับการออกแบบ ASIC ของพวกเขาเพื่อให้แน่ใจว่าพวกเขาจะไม่สิ้นเปลืองทรัพยากรซิลิกอนอันมีค่า นี่มาจาก รายงาน DeepSeek V4

1. การลงทุนใน TileLang ชี้ไปในทิศทางที่สอดคล้องกันว่าพวกเขาไม่ได้แค่จัดการกับปัญหาการขาดแคลนการคำนวณของตัวเองเท่านั้น แต่กำลังทำให้ระบบนิเวศฮาร์ดแวร์จีนสามารถแข่งขันกับระบบนิเวศตะวันตกได้ ด้วย Tilelang ทำให้สามารถพัฒนาเคอร์เนล (โค้ดสำหรับการคำนวณ) เพียงครั้งเดียวและให้ทำงานได้สำเร็จบนแพลตฟอร์มฮาร์ดแวร์หลายแห่งที่แบ็คเอนด์ TileLang พร้อมใช้งาน ฉันคาดว่าห้องปฏิบัติการอื่นๆ ในจีนทั้งหมดจะเข้าร่วม - ช่วยให้ผู้ผลิตฮาร์ดแวร์จีนจัดการกับ "คูน้ำ CUDA" โดยอ้อม สิ่งนี้ยังปลดล็อกฮาร์ดแวร์ตะวันตกอย่าง AMD อีกด้วย

หมายเหตุ: แพลตฟอร์ม AI หลายแห่งในจีนมีความเข้ากันได้กับ CUDA หรือเลเยอร์การแปล CUDA: Moore Threads, MetaX, Biren และ Iluvatar CoreX เป็นชิปจีนที่เข้ากันได้กับ CUDA มากที่สุดผ่านเลเยอร์การแปล พวกเขาไม่ต้องการ TileLang (ในทางทฤษฎี)

RL และ RSI ขนาดใหญ่:

ด้วยการเข้าถึงการคำนวณที่มากขึ้น (เนื่องจากตัวเลือกฮาร์ดแวร์ที่มีศักยภาพมากขึ้น) และความต้องการในการคำนวณที่ลดลง DeepSeek สามารถดำเนินโครงการฝึกอบรมที่ทะเยอทะยานมากขึ้น โดยเฉพาะอย่างยิ่งการฝึกอบรมหลัง RL RL เกี่ยวข้องกับการสร้างวิถี (trajectories) จำนวนมาก - การสร้างโทเค็นเป็นล้านล้านล้าน มันอาจมีราคาแพงอย่างรวดเร็ว นอกจากนี้ ในการฝึกโมเดลบริบท 1M คุณต้องสร้างวิถีที่ยาวขนาดนั้น การฝึกโมเดลสำหรับวิถีที่ยาวเช่นนี้ช่วยให้สามารถทำงานระยะยาวได้

ยิ่งไปกว่านั้น ความพร้อมใช้งานของฮาร์ดแวร์ที่มากขึ้นที่ DeepSeek เนื่องจากตัวเลือกที่เพิ่มขึ้นจะช่วยให้การวิจัยอัตโนมัติ (RSI) เป็นไปได้ RSI เกี่ยวข้องกับ AI เองที่ออกแบบและดำเนินการทดลอง วิธีการนี้มีการลองผิดลองถูกจำนวนมากและอาจมีค่าใช้จ่ายสูงอย่างรวดเร็ว อย่างไรก็ตาม RSI มีความสำคัญต่อการสำรวจพื้นที่การออกแบบทั้งหมด DeepSeek จะต้องมีความสามารถ RSI ก่อนที่จะถึง AGI ตามด้วย ASI

สิ่งที่ DeepSeek ทำวันนี้ อุตสาหกรรมที่เหลือจะทำในวันพรุ่งนี้:

นวัตกรรมของ DeepSeek เกี่ยวกับ Mixture of Expert, MLA, DSA ได้ถูกนำไปใช้โดยห้องปฏิบัติการ AI อื่นๆ ทั่วโลกและจากจีน

ตัวอย่างเช่น ZAI - ผู้สร้างโมเดลตระกูล GLM - ใช้ MLA และ DSA Kimi (Moonshot) ได้นำ MLA มาใช้และไม่ลังเลที่จะบอกว่าสถาปัตยกรรมของพวกเขามาจากสถาปัตยกรรมของ DeepSeek เช่นกัน ในทางกลับกัน DeepSeek ใช้ Muon optimizer ซึ่ง Kimi (Moonshot) เป็นผู้ใช้ครั้งแรกสำหรับการฝึกขนาดใหญ่

(หมายเหตุ:

• MoE ถูกคิดค้นที่ Google ในปี 2017 โดย Naom Shazeer ในฐานะผู้เขียนหลัก DeepSeek นำไปใช้ในระดับมหาศาลและคิดค้นเทคนิคของตัวเอง

• ตัวเพิ่มประสิทธิภาพ Muon (MomentUm Orthogonalized by Newton-Schulz) ถูกสร้างขึ้นโดยนักวิจัย机器学习 Keller Jordan ในปลายปี 2024 ทีม Kimi (Moonshot) เป็นทีมแรกที่ใช้มันในระดับมหาศาล)

แล้วเรื่องการทำเงิน $$$ ล่ะ?:

มาศึกษาตัวอย่างที่น่าสนใจของ OpenAI กัน OpenAI ได้รับใบสำคัญแสดงสิทธิ/ออปชั่นในการซื้อหุ้นของ AMD และ Cerebras ในราคาต่ำ โดยขึ้นอยู่กับหลักชัยการบริโภค เป็นข้อตกลงที่ยอดเยี่ยมสำหรับ AMD และ Cerebras การที่ OpenAI ผูกพันกับพวกเขา ทำให้พวกเขามีแนวโน้มที่จะประสบความสำเร็จในระยะยาว

คำพูดจากประกาศของ AMD: "ตามข้อตกลง เพื่อให้สอดคล้องกับผลประโยชน์เชิงกลยุทธ์มากขึ้น AMD ได้ออกใบสำคัญแสดงสิทธิให้ OpenAI สำหรับหุ้นสามัญของ AMD สูงถึง 160 ล้านหุ้น โดยมีโครงสร้างให้เป็นสิทธิเมื่อบรรลุหลักชัยเฉพาะ งวดแรกเป็นสิทธิเมื่อมีการติดตั้ง 1 กิกะวัตต์ครั้งแรก โดยงวดเพิ่มเติมเป็นสิทธิเมื่อการซื้อขยายเป็น 6 กิกะวัตต์ การได้สิทธิยังเชื่อมโยงกับการที่ AMD บรรลุเป้าหมายราคาหุ้นที่แน่นอน และการที่ OpenAI บรรลุหลักชัยทางเทคนิคและเชิงพาณิชย์ที่จำเป็นเพื่อให้สามารถติดตั้ง AMD ในระดับขนาดใหญ่ได้"

ฉันคาดการณ์ว่า DeepSeek จะทำข้อตกลงดังกล่าวกับผู้ผลิตหน่วยความจำ, ASIC, CPU และสแต็กเครือข่ายของจีนหลายราย และทำงานอย่างใกล้ชิดกับพวกเขาเพื่อทำให้สแต็กฮาร์ดแวร์ของพวกเขาใช้งานได้สำหรับงาน AI ชั้นนำ

เมื่อพิจารณาว่ามูลค่ารวมของหุ้น AI ตะวันตกทั้งหมด (รวมถึงพันธมิตรเอเชียตะวันออก) นั้นเกิน 10 ล้านล้านดอลลาร์สหรัฐ วิธีการทำงานร่วมกันที่ให้รางวัลเป็นหุ้นนี้จะช่วยให้ DeepSeek สร้างอุตสาหกรรมที่ใหญ่พอๆ กันในจีนและอ้างสิทธิ์ในส่วนแบ่งของพวกเขา ในขณะเดียวกันก็บรรลุมูลค่าประเมิน 1 ล้านล้านดอลลาร์สหรัฐสำหรับตัวเอง

สิ่งนี้จะช่วยให้พวกเขาทำเงินได้มากขึ้น $$$ ในขณะเดียวกันก็บรรลุเป้าหมายในคำพูดของพวกเขาที่ว่า "AGI สำหรับทุกคน" เหลียง เหวินเฟิง - แฟนตัวยงของจิม ไซมอนส์ - เป็นนายทุนที่ฉลาดเกินกว่าจะพลาดสิ่งนี้!

นี่เป็นสิ่งเดียวที่สมเหตุสมผล ถ้าคุณมองทุกสิ่งที่ DeepSeek ทำมาจนถึงตอนนี้...

บล็อกโดยละเอียดเกี่ยวกับนวัตกรรมเหล่านี้จะออกในสุดสัปดาห์นี้ ติดตาม substack ของฉันได้ที่ https://polymath707.substack.com/ หากสนใจ...