Bạn đã bao giờ tự hỏi, DeepSeek có thể kiếm tiền như thế nào, và kiếm được rất nhiều tiền không?
Họ không đưa ra các gói lập trình cạnh tranh như GLM, MoonShot và MiniMax. Họ không có các mô hình đa phương thức, âm thanh, video. Cho đến nay họ vẫn chưa có một harness (họ mới bắt đầu tuyển dụng gần đây để xây dựng harness)? DeepSeek cũng cam kết mã nguồn mở trong dài hạn và rất vui khi chia sẻ bí quyết của mình. Điều này có điên rồ không? Đây có phải là sự lãng phí tiền bạc tuyệt đối không? Các nhà đầu tư sắp đầu tư 10 tỷ USD vào họ có đang ném tiền qua cửa sổ không?
Không - hoàn toàn ngược lại, theo ý kiến khiêm tốn của tôi!!!
Ở đây tôi trình bày những quan sát về những gì họ đã làm cho đến nay, và một chiến lược mà họ dường như đang theo đuổi. Liang Wenfeng (CEO của DeepSeek) dường như đang nhắm đến một giải thưởng lớn hơn nhiều và họ có thể đạt được định giá 1 nghìn tỷ USD, đồng thời giúp tạo ra một ngành công nghiệp trị giá 10 nghìn tỷ USD!
Nhìn lại Hành Trình Anh Hùng của DeepSeek
DeepSeek luôn đi ngược chiều gió trong việc xây dựng các mô hình tốt hơn dần dần và cố gắng bán các ứng dụng tức thời - ví dụ: các gói lập trình. Tôi đã viết dòng tweet lan truyền này vào ngày 27 tháng 1 năm 2025 về những gì tôi thấy là Hành Trình Anh Hùng của DeepSeek. Câu chuyện ngày càng trở nên thú vị hơn.
- Khi mọi người đang cố gắng xây dựng các mô hình dày đặc, DeepSeek đã theo đuổi các mô hình Hỗn Hợp Chuyên Gia (MoE) vốn rất khó huấn luyện.
- Họ làm việc theo cách tiếp cận 'nguyên lý đầu tiên' và phát minh ra thuật toán mới GRPO để thay thế thuật toán PPO thống trị cho Học Tăng Cường (RL) vốn tốn kém hơn để triển khai.
- Họ đã tìm ra Học Tăng Cường từ Phần Thưởng Đã Xác Minh (RLVR) như một chiến lược chính để cải thiện khả năng suy luận của các mô hình.
- Họ đưa ra một chiến lược đơn giản cho Giải Mã Suy Diễn thông qua "Dự Đoán Đa Token" cũng giúp làm dày đặc tín hiệu huấn luyện.
- Họ đã hoàn thiện các pipeline "Zero bubble" để cải thiện việc sử dụng tài nguyên GPU hạn chế.
- Họ đã xuất bản Bộ Cân Bằng Tải Chuyên Gia để giúp mọi người dễ dàng triển khai các mô hình Hỗn Hợp Chuyên Gia. Đặc biệt với chiến lược "Wide Expert Parallel", các mô hình có thể được phục vụ tiết kiệm hơn nhiều vì có thể có các batch lớn.
- Họ đã phát minh ra MLA, DSA, CSA, HCA để giảm nhu cầu KV Cache và giữ nhu cầu tính toán gần như không đổi so với bối cảnh đang phát triển.
- Họ đã phát minh ra Engram để đánh đổi bộ nhớ lấy tính toán.
- Họ đã phát minh ra mHC để đạt được huấn luyện ổn định khi kích thước mô hình tăng lên. Và danh sách vẫn tiếp tục....
Trong cấu trúc câu chuyện Hành Trình Anh Hùng (phổ biến nhất), người hùng không bao giờ quyết định hành trình của mình sẽ như thế nào. Anh ta học hỏi trên đường đi và tìm ra một sứ mệnh tuyệt vời cho bản thân và hoàn thành nó bất chấp mọi khó khăn. Anh ta gặp nhiều kẻ gièm pha, nhưng anh ta phớt lờ họ. Anh ta gặp nhiều kẻ xấu. Anh ta có một khiếm khuyết hoặc thiếu sót lớn - nhưng anh ta vượt qua chúng để hoàn thành sứ mệnh của mình. Anh ta đối mặt với những thách thức dường như không thể vượt qua, nhưng tìm ra cách tạo liên minh và sử dụng các nguồn tài nguyên quý giá một cách khôn ngoan. Đây là điều khiến khán giả ủng hộ người hùng. Đây là điều mang lại cho DeepSeek lượng người hâm mộ, sự tôn trọng toàn cầu và cả những kẻ gièm pha.
Như tôi sẽ trình bày chi tiết cho bạn, DeepSeek đã thực hiện hành trình này đủ lâu và đã khám phá ra đích đến cuối cùng: đó không phải là bán các gói lập trình, mà là kích hoạt một hệ sinh thái phần cứng AI Trung Quốc trị giá 10 nghìn tỷ USD và đạt được định giá 1 nghìn tỷ USD cho chính mình. Khi làm như vậy, họ cũng sẽ kích hoạt nhiều người mới tham gia vào hệ sinh thái phần cứng phương Tây.
Chào mừng các bình luận và chỉ trích: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang
Bắt đầu với một số tính toán thú vị về KV Cache:
Hãy đọc dòng tweet kịp thời này từ @SemiAnalysis_ :
Trước tiên chúng ta hãy làm một số phép toán KV Cache thú vị. Đừng lo nếu bạn không thích Toán. Chúng ta sẽ sử dụng máy tính KV Cache mới được phát hành gần đây để xem mức tiết kiệm KV Cache mà DeepSeek V4 Pro có thể thực hiện và so sánh nó với các mô hình GLM và Qwen mới nhất.
Tôi tính toán cho ngữ cảnh 1M. Tôi giả sử độ chính xác KV 8 bit và độ chính xác indexer 16 bit. Bạn có thể chơi với máy tính.
https://kvcache.ai/tools/kv-cache-calculator/
Đối với ngữ cảnh 1M
- DeepSeek V4 chỉ cần 5.48GB HBM
- GML5 cần 60GB HBM
- Qwen3-235B-A22B cần tới 89B
Lưu ý
- DeepSeek là mô hình tham số 1.6T,
- GLM5 có khoảng 700B tham số, nó đã sử dụng MLA và DSA của DeepSeek; mặc dù chưa có cơ chế chú ý nén mới nhất
- Qwen3-235B-A22B có khoảng 235B và sử dụng cơ chế chú ý GQA
DeepSeek đã có đóng góp nền tảng để giảm áp lực lên bộ nhớ. Nếu được áp dụng rộng rãi, sự đổi mới này có thể làm cho các tác nhân tầm xa trở nên cực kỳ kinh tế và mở khóa tập hợp các trường hợp sử dụng tiếp theo.
Phương pháp đằng sau sự điên rồ:
Kích thước nhỏ này của KV cache - mà không ảnh hưởng đến chất lượng - là lý do tại sao họ có thể cung cấp cache được giữ lâu với mức giá thấp đến khó tin - ít hơn 3% giá Cache hits cho Sonnet 4.6 - và họ giữ nó trong nhiều giờ.
Một lượng nhỏ cache cho các tác vụ tầm xa cho phép giảm tải xuống SSD và tải lại rất hiệu quả về chi phí. Điều này làm giảm nhu cầu về HBM vốn đang khan hiếm và là loại bộ nhớ khó sản xuất nhất từ góc nhìn của ngành công nghiệp phần cứng AI Trung Quốc. DeepSeek cũng đã phát triển các kỹ thuật để tải KV cache từ SSD nhanh hơn như được mô tả trong bài báo Dual Path.
Ai là người hưởng lợi trực tiếp từ việc nén KV Cache?:
Ai cung cấp SSD với số lượng lớn? Hãy nhớ rằng YMCT đang nổi lên như một gã khổng lồ 3D NAND. NAND cho phép DeepSeek tránh tính toán lại các KV. Đổi lại, DeepSeek tạo ra một thị trường lớn cho NAND & SSD - không chỉ của YMTC mà còn của tất cả những người khác.
Tuy nhiên, nó không chỉ là về NAND & SSD:
Bộ nhớ LPDDR có tiềm năng lớn để trở thành nơi bạn lưu giữ các trọng số và truyền chúng vào HBM khi cần, giảm áp lực lên nhu cầu HBM. Nhóm SGLang đã xuất bản một blog tuyệt vời về nó. Tôi trình bày sơ đồ dưới đây để giải thích cách thức hoạt động của sơ đồ này.
Mặc dù DeepSeek không làm gì cụ thể cho việc này - nhưng kiến trúc MoE của họ với số lượng lớn các chuyên gia và trọng số 4 bit giúp dễ dàng triển khai sơ đồ này.
Sự đổi mới này kết hợp với KV Cache siêu nhỏ gọn (không mất dữ liệu) làm giảm đáng kể nhu cầu HBM.
Ai ở Trung Quốc sản xuất LPDDR? CXMT. Họ chỉ chậm hơn 0.5 thế hệ về tốc độ cho LPDDR và chậm hơn 1 thế hệ về mật độ. Không xa lắm! Ngoài ra, với nguồn NAND dồi dào, hệ sinh thái Trung Quốc sẽ có nguồn LPDDR dồi dào trong tương lai gần. Điều này có thể làm giảm áp lực lên tính toán không? CÓ. Theo dõi tiếp..
Sử dụng thông minh bộ nhớ cũng làm giảm áp lực lên GPU/ASIC
Rất rõ ràng để hiểu rằng việc sử dụng NAND cho KV cache cho phép giữ KV cache lâu hơn, giảm áp lực lên HBM và giúp tránh tính toán lại KV cache, điều này làm giảm áp lực tính toán lên GPU & ASIC. Liệu LPDDR cũng có thể giúp ích theo cách tương tự, ngoài việc là nơi mà các trọng số có thể được truyền vào "theo kiểu just-in-time" không? Câu trả lời là CÓ.
LPDDR hỗ trợ lưu giữ một lượng lớn cái được gọi là "Engram". Trong bài báo Engram của mình, DeepSeek đã chỉ ra rằng trong khi MoE mở rộng quy mô dung lượng thông qua tính toán có điều kiện, Transformers thiếu một nguyên thủy bản địa để tra cứu kiến thức. Chúng buộc phải mô phỏng tra cứu một cách kém hiệu quả thông qua tính toán. Họ giới thiệu Engram, một mô-đun hiện đại hóa các N-gram nhúng cổ điển thành tra cứu dựa trên hàm băm O(1), tạo ra một trục thưa thớt bổ sung mà họ gọi là bộ nhớ có điều kiện. Điều này tiết kiệm tính toán, nhưng cần bộ nhớ để lưu trữ bảng nhúng có thể có kích thước lớn. Đó là một sự thay thế bộ nhớ-tính toán cổ điển, nhưng với hiểu biết sâu sắc rằng mặt "bộ nhớ" rẻ hơn đáng kể trên mỗi bit được truy xuất (tra cứu LPDDR so với một lượt truyền đầy đủ qua các lớp transformer), làm cho nó trở thành một sự đánh đổi rất thuận lợi ở quy mô lớn. Đây là cách họ tiết kiệm tính toán bằng cách trao đổi bộ nhớ!!!
Những sự đánh đổi đáng giá: GPU & ASIC Trung Quốc sẽ mãi mãi tụt hậu về FLOPs thô so với GPU phương Tây do không có cùng mật độ bóng bán dẫn trên mỗi chiplet (không có EUV). Họ cũng khá tụt hậu về đóng gói. Vì vậy, những sự đánh đổi như vậy là rất đáng giá, đặc biệt nếu bạn có thể sản xuất dồi dào bộ nhớ NAND và LPDDR.
Kể lại trò chơi dài hạn của DeepSeek:
Từ tất cả những đổi mới này, trò chơi của DeepSeek dường như không phải là lợi nhuận trước mắt vài trăm triệu USD với tất cả những lựa chọn họ đã đưa ra (chưa có đa phương thức, chưa có mô hình giọng nói, video - cái gì vậy?) - nhưng họ đang chơi một trò chơi 10 nghìn tỷ USD kiên nhẫn để kích hoạt một hệ sinh thái phần cứng thay thế.
Nó không chỉ là biến các nhà sản xuất bộ nhớ Trung Quốc thành những người chơi chủ chốt trên đấu trường phần cứng AI của Trung Quốc và toàn cầu, mà còn là giảm nhu cầu tài nguyên, để có thể huấn luyện và phục vụ các mô hình AI một cách hiệu quả về chi phí - điều này sẽ kích hoạt nhiều nhà sản xuất GPU/ASIC cũng như các nhà sản xuất chip mạng vì chúng sẽ trở thành những lựa chọn khả thi. Tất cả những đổi mới này cũng sẽ giúp ích cho hệ sinh thái mã nguồn mở phương Tây cũng như các nhà sản xuất phần cứng mới.
Tất cả các dấu hiệu đều có ở đó. Chúng ta hãy kể lại chi tiết tất cả những đổi mới mà họ đã đưa ra:
- Hỗn Hợp Chuyên Gia (MoE) và MLA được giới thiệu trong DeepSeek V2. MoE giúp huấn luyện các mô hình rất thông minh với ít hơn 40 đến 50% tính toán. MLA giúp giảm KV cache tới 90%. Điều này làm cho việc giảm tải KV cache xuống SSD khá hiệu quả. Những ý tưởng này đã được giới thiệu trong bài báo tháng 5 năm 2024 của họ DeepSeek V2. Sau đó, nó đã mở khóa việc huấn luyện DeepSeek V3, vốn gần như là mã nguồn đóng vào thời điểm đó chỉ với 2048 GPU H800 bị giới hạn.
- DSA (được giới thiệu trong DeepSeek V3.2 Exp) để giảm tính toán cho các kịch bản ngữ cảnh dài và cũng làm giảm áp lực lên băng thông HBM. Nó đảm bảo rằng tính toán không tăng lên cùng với ngữ cảnh đang phát triển. Vui lòng xem biểu đồ bên dưới - thời gian xử lý cho DeepSeek-v3.2 không đổi theo ngữ cảnh.
- mHC được giới thiệu vào tháng 12 năm 2025 trong bài báo mHC: Manifold-Constrained Hyper-Connections. mHC là một đổi mới về kiến trúc vĩ mô từ DeepSeek, tái phát minh cách thông tin chảy giữa các lớp transformer. Thay vì kết nối dư tiêu chuẩn (x + F(x)) được sử dụng từ ResNet, mHC mở rộng luồng dư thành nhiều đường cao tốc thông tin song song và cho phép trộn học được giữa chúng — nhưng quan trọng là ràng buộc các ma trận trộn phải là ngẫu nhiên kép (thông qua phép chiếu Sinkhorn-Knopp lên đa diện Birkhoff), điều này đảm bảo về mặt toán học rằng độ lớn tín hiệu được bảo toàn qua độ sâu tùy ý.
- Điều này giải quyết sự bất ổn định thảm khốc đã làm phiền các Hyper-Connections không bị ràng buộc (ban đầu được phát minh tại ByteDance), nơi khuếch đại tín hiệu bùng nổ lên tới 3000× ở quy mô 27B, làm sụp đổ hoàn toàn quá trình huấn luyện.
- Chi phí tính toán là tối thiểu: mHC chỉ thêm 6.7% chi phí huấn luyện theo thời gian thực vì nó không thay đổi FLOPs của các lớp chú ý hoặc FFN, chỉ thay đổi cách đầu ra của chúng được định tuyến giữa các lớp.
- Tuy nhiên, lợi ích về hiệu suất là đáng kể: ở 27B tham số, mHC mang lại +7.2 điểm trên BIG-Bench Hard reasoning, +3.2 trên DROP, +2.8 trên GSM8K toán học, và +1.4 trên MMLU kiến thức tổng quát, tất cả đều ở cùng kích thước mô hình và ngân sách tính toán gần như giống hệt nhau.
Về bản chất, mHC đạt được trí thông minh cao hơn đáng kể trên mỗi tham số bằng cách cung cấp cho mạng một cấu trúc liên kết phong phú hơn, biểu cảm hơn để định tuyến thông tin qua các lớp, đồng thời hầu như không tốn thêm FLOPs nào.
- CSA, HSA (được giới thiệu trong DeepSeek V4 vào tháng 4 năm 2026) để giảm nhu cầu KV thêm 90% bằng cách nén các token KV và giảm FLOPs cần thiết một lượng lớn, làm giảm áp lực lên cả HBM và GPU/ASIC.
- Engram được giới thiệu vào quý 1 năm 2026, nơi họ trao đổi bộ nhớ (bộ nhớ LPDDR) lấy tính toán (theo một cách nào đó). Như biểu đồ chi tiết sau đây cho thấy mức tăng hiệu suất nhờ Engram ở cùng ngân sách tham số tổng thể.
- Tập trung cực độ vào sự chồng chéo Tính toán và Giao tiếp, và những đổi mới như Dual Path có thể được giải thích như một giải pháp cho các ràng buộc về tài nguyên. Nhưng DeepSeek đi xa hơn khi tư vấn cho các nhà cung cấp phần cứng về thiết kế ASIC của họ để đảm bảo họ không lãng phí tài nguyên silicon quý giá. Điều này đến từ bài báo DeepSeek V4.
- Đầu tư vào TileLang chỉ ra một hướng đi nhất quán rằng họ không chỉ đối phó với tình trạng thiếu hụt tính toán của riêng mình mà còn làm cho hệ sinh thái phần cứng Trung Quốc trở nên cạnh tranh với hệ sinh thái phương Tây. Với Tilelang, có thể phát triển kernel (mã cho tính toán) một lần và chạy thành công trên nhiều nền tảng phần cứng có sẵn TileLang backend. Tôi hy vọng tất cả các phòng thí nghiệm khác có trụ sở tại Trung Quốc sẽ tham gia - giúp các nhà sản xuất phần cứng Trung Quốc gián tiếp đối phó với "CUDA moat". Điều này cũng mở khóa nhiều phần cứng phương Tây hơn như AMD.
Lưu ý: nhiều nền tảng AI ở Trung Quốc cung cấp khả năng tương thích CUDA hoặc lớp dịch CUDA: Moore Threads, MetaX, Biren và Iluvatar CoreX là những chip Trung Quốc tương thích CUDA nhất thông qua các lớp dịch. Về mặt lý thuyết, họ không cần TileLang.
RL và RSI quy mô lớn:
Với quyền truy cập vào nhiều tính toán hơn (do có nhiều lựa chọn phần cứng tiềm năng hơn) và giảm nhu cầu tính toán, DeepSeek có thể thực hiện các dự án huấn luyện tham vọng hơn nhiều; đặc biệt là huấn luyện sau RL. RL liên quan đến việc tạo ra một số lượng lớn các quỹ đạo - tạo ra hàng nghìn tỷ token. Nó có thể trở nên đắt đỏ rất nhanh. Hơn nữa, để huấn luyện các mô hình ngữ cảnh 1M, bạn cần tạo ra các quỹ đạo dài như vậy. Huấn luyện các mô hình cho các quỹ đạo dài như vậy cho phép các tác vụ tầm xa.
Hơn nữa, sự sẵn có của nhiều phần cứng hơn tại DeepSeek do các lựa chọn gia tăng sẽ cho phép nghiên cứu tự động (RSI). RSI liên quan đến việc chính AI thiết kế và thực hiện các thí nghiệm. Cách tiếp cận này có một số lượng lớn các thử nghiệm và sai sót và có thể trở nên tốn kém rất nhanh. Tuy nhiên, RSI rất quan trọng để khám phá toàn bộ không gian thiết kế. DeepSeek sẽ cần phải có khả năng RSI trước khi họ đạt được AGI và sau đó là ASI.
Những gì DeepSeek làm hôm nay, phần còn lại của ngành công nghiệp sẽ làm vào ngày mai:
Những đổi mới của DeepSeek xung quanh Hỗn Hợp Chuyên Gia, MLA, DSA đã được các phòng thí nghiệm AI còn lại trên khắp thế giới và từ Trung Quốc tiếp thu.
Ví dụ, ZAI - nhà sản xuất dòng mô hình GLM - sử dụng MLA và DSA. Kimi (Moonshot) đã áp dụng MLA và không ngần ngại nói rằng kiến trúc của họ dựa trên kiến trúc của DeepSeek. Đổi lại, DeepSeek sử dụng bộ tối ưu hóa Muon, lần đầu tiên được Kimi (Moonshot) sử dụng cho huấn luyện quy mô lớn.
(LƯU Ý:
- MoE được phát minh tại Google vào năm 2027 với Naom Shazeer là tác giả chính. DeepSeek đã áp dụng nó ở quy mô lớn và phát minh ra các thủ thuật của riêng họ.
- Bộ tối ưu hóa Muon (MomentUm Orthogonalized by Newton-Schulz) được tạo ra bởi nhà nghiên cứu máy học Keller Jordan vào cuối năm 2024. Nhóm Kimi (Moonshot) là những người đầu tiên sử dụng nó ở quy mô lớn.)
Còn việc kiếm $$$ thì sao?:
Chúng ta hãy nghiên cứu một ví dụ thú vị về OpenAI. OpenAI đã nhận được chứng quyền/tùy chọn để mua cổ phiếu của AMD và Cerebras với giá thấp, dựa trên các mốc tiêu thụ. Đó là một thỏa thuận tuyệt vời cho AMD và Cerebras. OpenAI cam kết với họ, khiến họ có khả năng thành công trong dài hạn.
Trích dẫn từ thông báo của AMD: "Theo thỏa thuận, để điều chỉnh thêm lợi ích chiến lược, AMD đã cấp cho OpenAI chứng quyền mua tới 160 triệu cổ phiếu phổ thông của AMD, được cấu trúc để trao quyền khi đạt được các mốc cụ thể. Đợt đầu tiên được trao quyền khi triển khai 1 gigawatt ban đầu, với các đợt bổ sung được trao quyền khi việc mua hàng mở rộng lên tới 6 gigawatt. Việc trao quyền còn gắn liền với việc AMD đạt được các mục tiêu giá cổ phiếu nhất định và OpenAI đạt được các mốc kỹ thuật và thương mại cần thiết để cho phép triển khai AMD ở quy mô lớn."
Tôi dự báo DeepSeek sẽ tham gia vào các thỏa thuận như vậy với nhiều nhà sản xuất bộ nhớ, ASIC, CPU và ngăn xếp mạng của Trung Quốc và làm việc chặt chẽ với họ để làm cho các ngăn xếp phần cứng của họ khả thi cho các khối lượng công việc AI hàng đầu.
Với tổng định giá của tất cả các cổ phiếu AI phương Tây (bao gồm cả các đồng minh Đông Á) vượt quá 10 nghìn tỷ USD. Cách tiếp cận hợp tác trao vốn chủ sở hữu này cho phép DeepSeek giúp tạo ra một ngành công nghiệp lớn tương tự ở Trung Quốc và giành lấy phần bánh của mình trong khi đạt được định giá 1 nghìn tỷ USD cho chính họ.
Điều này sẽ cho phép họ kiếm được nhiều $$$ hơn trong khi vẫn đạt được mục tiêu của họ, theo cách nói của họ là "AGI cho tất cả mọi người". Liang Wenfeng - một người hâm mộ lớn của Jim Simmon - là một nhà tư bản quá thông minh để bỏ lỡ điều này!
Đây là điều duy nhất có ý nghĩa, nếu bạn nhìn vào mọi thứ DeepSeek đã làm cho đến nay...
Blog chi tiết về những đổi mới này sẽ ra mắt vào cuối tuần này, hãy theo dõi substack của tôi https://polymath707.substack.com/ nếu bạn quan tâm...
