Thị trường và một số báo cáo gần đây đã trở nên bi quan về bộ nhớ. Luận điểm chính cho rằng làn sóng bổ sung công suất đến vào khoảng năm 2027 và 2028 sẽ khiến nguồn cung bắt kịp nhu cầu, giá cả sẽ đảo chiều, và một đợt định giá lại sẽ diễn ra theo đúng kịch bản chu kỳ cũ.
Tôi không đồng ý với quan điểm đó.
Luận điểm bi quan vẫn định giá bộ nhớ như một loại hàng hóa, và nền tảng công nghệ bên dưới giả định đó đang thay đổi ngay lúc này. Hãy theo dõi sự thay đổi cấu trúc đang diễn ra trong ngành công nghiệp bộ nhớ ở cấp độ kỹ thuật và bạn sẽ thấy rõ rằng tiền đề "cùng một bộ phận tiêu chuẩn bất kể ai sản xuất", thứ mà lập luận đỉnh chu kỳ dựa vào, đang ngày càng ít áp dụng cho bộ nhớ sắp tới.
Trung tâm của sự thay đổi đó là đế chip (base die) HBM.
Đế chip chuyển sang một quy trình logic, mạch khách hàng di chuyển vào trong đó (cHBM), và cuối cùng bộ nhớ nằm trực tiếp trên đỉnh của chip tính toán khách hàng (memory-on-logic).
Tôi dự đoán rằng vào cuối quá trình tiến triển này, các công ty bộ nhớ sẽ chuyển từ các nhà sản xuất hàng hóa thành các đối tác silicon tùy chỉnh, và cách các công ty bộ nhớ đang di chuyển ngày hôm nay chỉ ra hướng đi đó. Bài viết này sẽ điểm qua bối cảnh kỹ thuật, những động thái thực tế đang được thực hiện trong toàn ngành, và ý nghĩa của sự thay đổi này đối với cấu trúc doanh thu và định giá bộ nhớ. Đến cuối bài, bạn sẽ hiểu tại sao tôi vẫn lạc quan về bộ nhớ, và tại sao lý do đó lại dựa trên sự thay đổi trong cấu trúc của chính ngành kinh doanh bộ nhớ.
https://x.com/damnang2/status/2054089498070556846
https://x.com/damnang2/status/2038016806653415929
Mục lục
- HBM, cHBM, và memory-on-logic, ba cấu trúc được phân biệt
- Từ cHBM đến memory-on-logic, thứ tự mà ngành công nghiệp đang di chuyển
- Những gì Thung lũng Silicon đang nghe thấy
- Cấu trúc doanh thu bộ nhớ thay đổi như thế nào
- Những gì cần theo dõi từ góc độ đầu tư
Tuyên bố miễn trách nhiệm
Các số liệu và mốc thời gian trong bài viết này được lấy từ các thông báo của công ty, báo cáo công khai và các bài báo đã xuất bản. Việc diễn giải các số liệu đó và quan điểm được trình bày ở đây hoàn toàn là phân tích của riêng tôi, và không có gì trong đây cấu thành một khuyến nghị mua hoặc bán bất kỳ chứng khoán cụ thể nào. Trách nhiệm đối với các quyết định đầu tư và kết quả của chúng thuộc về nhà đầu tư cá nhân.
1. HBM, cHBM, và memory-on-logic, ba cấu trúc được phân biệt
HBM
HBM (High Bandwidth Memory) xếp chồng các chip DRAM cao 8, 12 hoặc 16 lớp và kết nối chúng theo chiều dọc bằng TSV (Through-Silicon Vias). Ở dưới cùng của chồng chip là đế chip. Nó xử lý điều khiển bộ nhớ, I/O và logic kiểm tra, đồng thời đóng vai trò là cổng kết nối chồng DRAM với thế giới bên ngoài. Chồng HBM hoàn chỉnh được đặt bên cạnh GPU trên một bộ liên kết silicon (interposer) và kết nối với GPU thông qua hệ thống dây dẫn của bộ liên kết. Bản thân chồng chip là 3D, nhưng vì nó nằm cạnh GPU thay vì trên đỉnh của nó, nên cách bố trí này được gọi là 2.5D. Trong HBM4, giao diện giữa GPU và chồng chip rộng 2.048 bit, và các tín hiệu đó rời khỏi PHY ở rìa của chip GPU, băng qua hệ thống dây dẫn của bộ liên kết và đi vào đế chip.
Các chip DRAM lõi ở phía trên phần lớn là cố định về cấu trúc, vì mảng tụ điện lưu trữ dữ liệu chiếm hầu hết diện tích của chúng, do đó lớp duy nhất trong chồng chip mang logic là đế chip ở dưới cùng. Mọi byte di chuyển giữa GPU và bộ nhớ đều đi qua lớp này, điều này làm cho khả năng xử lý của đế chip trở thành yếu tố quyết định băng thông và hiệu quả năng lượng của toàn bộ chồng chip, và gánh nặng đó tăng lên theo mỗi thế hệ. Giao diện đã tăng gấp đôi từ 1.024 bit trong HBM3 lên 2.048 bit trong HBM4, tốc độ trên mỗi chân cũng tăng theo, và độ phức tạp của xử lý tín hiệu, quản lý kênh và quản lý năng lượng cũng tăng lên theo từng bước.
Vì lý do đó, các công ty bộ nhớ đã làm việc trên đế chip trước tiên khi cải thiện hiệu suất HBM, và điểm khởi đầu là quy trình được sử dụng để chế tạo nó. Qua HBM3E, đế chip được chế tạo trên quy trình DRAM, giống như các chip DRAM ở phía trên nó. Quy trình DRAM được chuyên biệt hóa cho mật độ tụ điện cao, do đó đặt mạch logic trên nó tạo ra thứ gì đó lớn hơn và chậm hơn so với cùng một logic được chế tạo trên quy trình logic. Công việc mà đế chip phải làm tăng lên theo mỗi thế hệ, và quy trình DRAM không thể theo kịp, vì vậy từ HBM4, đế chip bắt đầu chuyển sang quy trình logic.
SK hynix chế tạo nó trên quy trình 12nm của TSMC và Samsung trên quy trình 4nm của xưởng đúc riêng của mình, trong khi Micron một mình giữ đế chip trên quy trình DRAM hiện có của mình qua HBM4 vì lý do chi phí và có kế hoạch chuyển sang quy trình logic của TSMC từ HBM4E.
Tuy nhiên, ngay cả với sự thay đổi quy trình, thiết kế của đế chip này vẫn thuộc về công ty bộ nhớ, và sản phẩm vẫn là một bộ phận tiêu chuẩn tuân thủ các thông số kỹ thuật JEDEC.
cHBM
Việc chuyển đế chip sang quy trình logic không loại bỏ được vấn đề cố hữu trong cấu trúc HBM. Phía GPU luôn thiếu diện tích chip cho tính toán, và một phần diện tích khan hiếm đó bị chiếm bởi các mạch di chuyển dữ liệu như giao diện HBM và bộ điều khiển bộ nhớ.
Đây là nơi khái niệm cHBM (custom HBM) bắt đầu.
Ý tưởng là đẩy các mạch ở phía GPU giao tiếp với bộ nhớ xuống đế chip, nơi nằm ngay bên dưới chồng bộ nhớ. GPU sau đó dành diện tích được giải phóng cho tính toán, và logic liên quan đến bộ nhớ chạy ngay bên dưới nơi dữ liệu được lưu trữ. Xử lý tiền xử lý hoặc nén tại cùng một vị trí đó và khối lượng dữ liệu phải di chuyển đến GPU giảm xuống, điều này cũng tiết kiệm năng lượng.
Vấn đề là một đế chip tiêu chuẩn JEDEC là mẫu số chung cho mọi khách hàng, vì vậy nó không có chỗ cho loại di dời này được điều chỉnh cho kiến trúc cụ thể của khách hàng. Nói cách khác, cHBM là cách tiếp cận rời khỏi tiêu chuẩn và thiết kế đế chip theo cách tùy chỉnh để xây dựng HBM. Ngoài ra, ngành công nghiệp đôi khi gọi HBM thông thường tuân theo tiêu chuẩn là sHBM (standard HBM).
Có một số cách để thiết kế đế chip cHBM. Chúng bao gồm từ việc công ty bộ nhớ thiết kế nó theo thông số kỹ thuật của khách hàng, đến một đối tác ASIC (Application-Specific Integrated Circuit) như Marvell cùng xác định đế chip với ba nhà sản xuất bộ nhớ, đến việc khách hàng thiết kế trực tiếp logic đế chip, như NVIDIA đang làm.
Trong mọi hình thức, chồng bộ nhớ và logic phải hoạt động như một, và các thông số kỹ thuật thiết kế hoặc mạch của khách hàng đi vào đế chip, vì vậy hai bên không có lựa chọn nào khác ngoài việc ngồi lại với nhau và xác định thông số kỹ thuật từ giai đoạn sớm nhất của thiết kế.
Điều đó có nghĩa là gì khi một phần mạch của khách hàng được thiết kế vào đế chip.
Điều đó có nghĩa là mô hình kinh doanh bộ nhớ, vốn từ lâu được coi là một loại hàng hóa, bắt đầu thay đổi từ thời điểm này. Một HBM mang mạch của khách hàng là bộ phận dành riêng cho khách hàng đó và không thể bán ở nơi khác, và từ phía khách hàng, bộ nhớ có mạch riêng của nó được nhúng vào không thể dễ dàng được thay thế bằng sản phẩm của nhà cung cấp khác. Tiền đề hàng hóa rằng bộ phận của bất kỳ ai cũng có thể thay thế cho nhau miễn là thông số kỹ thuật phù hợp không còn hiệu lực từ cHBM trở đi.
memory-on-logic
Khi bạn đạt đến cHBM, đế chip trông không còn giống một chip để quản lý bộ nhớ nữa mà giống chip logic của khách hàng hơn. Giao diện thuộc về khách hàng, bộ điều khiển cũng vậy, và các chức năng lấp đầy diện tích còn lại cũng vậy. Điều đó đặt ra một câu hỏi mới. Có lý do nào để xây dựng một đế chip riêng biệt không. Tại sao không đặt GPU thực tế, chip tính toán, vào vị trí của đế chip và xếp chồng bộ nhớ trực tiếp lên trên nó. Cấu trúc đó là memory-on-logic. Chip tính toán tiếp nhận mọi thứ mà đế chip từng làm, bộ liên kết biến mất, và chồng bộ nhớ được xếp chồng 3D trực tiếp lên trên chip tính toán.
Tại thời điểm này, các điều kiện vật lý của kết nối thay đổi. Thay vì kết nối chồng HBM và GPU thông qua giao diện cạnh 2.048 bit, các điểm kết nối trải rộng trên toàn bộ giao diện liên kết. Các phương pháp liên kết dọc như TSV và hybrid bonding đẩy mật độ kết nối từ hàng chục nghìn lên hàng trăm nghìn, và khoảng cách tín hiệu di chuyển thu hẹp từ milimét của hệ thống dây dẫn bộ liên kết xuống còn hàng chục micromet theo hướng dọc.
Băng thông thay đổi theo một bậc độ lớn, và năng lượng cần thiết để di chuyển một bit cũng vậy. Một bài báo năm 2025 từ Georgia Tech và SK hynix đã phân tích một cấu trúc memory-on-logic có khả năng đạt thông lượng gấp 64 lần và hiệu quả năng lượng gấp 3 lần so với 2.5D. Các con số là mô hình hóa học thuật và không cần phải tin vào giá trị bề mặt, nhưng chúng là một minh họa tốt về hướng đi và mức độ cải thiện.
Vấn đề chưa được giải quyết với memory-on-logic là nhiệt. Đặt DRAM lên trên một chip tính toán tiêu thụ hàng trăm watt và DRAM chặn đường thoát nhiệt của chip tính toán trong khi tự hấp thụ nhiệt đó. Và DRAM, vốn nhạy cảm với nhiệt độ, thấy khoảng thời gian làm mới (refresh interval) của nó bị rút ngắn dưới nhiệt, mở ra cánh cửa cho hiệu suất suy giảm. Cuối cùng, cách giải quyết vấn đề nhiệt này có thể là biến số lớn nhất duy nhất quyết định sự thành công của memory-on-logic.
Câu chuyện cho đến nay bắt đầu không phải với toàn bộ HBM mà với một chip duy nhất ở dưới cùng của chồng chip.
Đế chip đó chuyển từ quy trình DRAM sang quy trình logic (HBM4), logic khách hàng di chuyển vào trong đó (cHBM), và cuối cùng vị trí của đế chip được thay thế bởi chip tính toán của khách hàng (memory-on-logic).
Tuy nhiên, sự tiến triển này không cần phải được đọc như một sự thay thế thế hệ tuyến tính. cHBM là con đường thương mại hóa thực tế nhất trong vài năm tới, trong khi memory-on-logic là một cấu trúc triệt để hơn chỉ đạt đến chủ đạo một khi các vấn đề về nhiệt và năng suất được giải quyết. Thay vì một cái thay thế ngay lập tức cái kia, hai cấu trúc này có khả năng sẽ được áp dụng song song trong một thời gian, tùy thuộc vào ngân sách năng lượng, khối lượng công việc và chi phí đóng gói của khách hàng.
Đế chip càng tiến gần đến silicon của khách hàng, thì ngành kinh doanh bộ nhớ càng tiến gần đến một ngành kinh doanh silicon tùy chỉnh, và….
Tôi nghĩ đây chính xác là điểm mà thị trường chưa nắm bắt đúng về tiềm năng tăng trưởng trong ngành kinh doanh bộ nhớ.
Ba nhà sản xuất bộ nhớ vẫn được định giá như các cổ phiếu chu kỳ di chuyển theo tăng trưởng bit và ASP, và những thay đổi về cấu trúc doanh thu và biên lợi nhuận mà quá trình chuyển đổi tùy chỉnh sẽ tạo ra chưa bao giờ xuất hiện trong các con số được báo cáo, vì vậy chúng chưa có cơ hội để được phản ánh trong các mô hình định giá. Đó là mức độ quan trọng của sự thay đổi này, và chính xác mô hình kinh doanh và cấu trúc doanh thu thay đổi như thế nào được trình bày chi tiết bên dưới.
2. Từ cHBM đến memory-on-logic, thứ tự mà ngành công nghiệp đang di chuyển
cHBM đã hiện hữu trên các lộ trình sản phẩm. Ứng dụng của cHBM liên tục được đề cập cho thế hệ NVIDIA Feynman dự kiến ra mắt vào năm 2028, mặc dù NVIDIA chưa chính thức xác nhận các chi tiết, vì vậy điều này tốt hơn nên được coi là một điểm chính cần theo dõi cho thế hệ đó hơn là một sự thật đã được xác lập. Samsung, SK hynix và Micron đều đã đặt HBM tùy chỉnh trên lộ trình chính thức của họ, và Marvell đã thông báo rằng họ đang cùng phát triển một kiến trúc HBM tùy chỉnh với ba nhà sản xuất bộ nhớ. Sự chuyển đổi của các đế chip dành riêng cho khách hàng vào vị trí của các đế chip tiêu chuẩn đã bước vào giai đoạn thực thi.
Trong khi cHBM ổn định trên các lộ trình, giai đoạn tiếp theo, memory-on-logic, đã tạo ra trường hợp riêng của nó với một mốc thời gian sản xuất được tiết lộ.
Đó là HBC (High Bandwidth Compute) của Qualcomm, được công bố tại Ngày Nhà đầu tư tháng 6 năm 2026 của họ.
Nó chưa phải là một sản phẩm trên thị trường. Bộ tăng tốc AI250 mang HBC Gen1 dự kiến ra mắt vào giữa năm 2027, với Gen2 trên lộ trình tiếp theo. HBC thuộc họ memory-on-logic, nhưng bộ nhớ là LPDDR (Low Power DDR) thay vì HBM, và chip được đặt bên dưới chồng chip là một bộ tăng tốc gần bộ nhớ (near-memory accelerator) chuyên dụng thay vì GPU thực tế.
Hãy xem xét cấu trúc. Qualcomm đã tách bộ tăng tốc AI khỏi SoC. Nó xếp chồng một chồng LPDDR lên trên chip tăng tốc đã được tách ra và kết nối chúng bằng TSV. Đơn vị HBC này và SoC nằm cạnh nhau trên một chất nền hữu cơ thông thường. Không có bộ liên kết silicon, và không có đóng gói tiên tiến 2.5D như CoWoS. Thiết kế này nhằm mục đích vượt qua hai nút thắt cùng một lúc, sự thiếu hụt nguồn cung HBM và sự thiếu hụt công suất đóng gói tiên tiến.
Qualcomm đã chọn LPDDR vì dung lượng và năng lượng. LPDDR là một họ DRAM được thiết kế cho năng lượng thấp, do đó gánh nặng năng lượng trên mỗi chồng chip là nhỏ và nó phù hợp cho việc mở rộng dung lượng. Câu trả lời của Qualcomm cho vấn đề nhiệt memory-on-logic nằm ngay tại đây. Thay vì GPU thực tế nóng, nó đặt một bộ tăng tốc chuyên dụng năng lượng thấp bên dưới, và sử dụng LPDDR năng lượng thấp cho bộ nhớ, do đó toàn bộ nằm trong ngân sách nhiệt.
Qualcomm tuyên bố băng thông trên mỗi watt gấp sáu lần HBM và dung lượng trên mỗi watt gấp 200 lần SRAM trên chip. Các con số được công bố sẽ cần một whitepaper chi tiết và phần cứng thực tế để xác minh, nhưng động thái từ phía khách hàng đã xuất hiện.
Humain của Ả Rập Xê Út đã đưa các rack AI250 mang HBC Gen1 vào kế hoạch triển khai của mình, và theo các báo cáo, Nadella của Microsoft cũng đã nói về việc triển khai Qualcomm HBC trong các trung tâm dữ liệu Azure. Việc một sản phẩm còn một năm nữa mới ra mắt đã có tên của một khách hàng cơ sở hạ tầng lớn và một hyperscaler lưu hành xung quanh nó tự nó là bằng chứng cho nhu cầu đối với cấu trúc này.
Qualcomm không phải là người duy nhất tiến tới memory-on-logic.
Đã có báo cáo rằng SK hynix đã thảo luận, từ năm 2023, một phương pháp xếp chồng HBM trực tiếp lên trên một bộ xử lý với một số công ty fabless bao gồm NVIDIA, và một cách tiếp cận sản xuất liên kết bộ nhớ lên một wafer logic sử dụng liên kết wafer của TSMC cũng đã được đề cập cùng với nó.
Công ty thiết kế ASIC của Đài Loan GUC đã đề xuất DoL (DRAM-on-Logic), đặt một đến bốn lớp DRAM lên trên logic. Cho dù thứ được đặt lên trên là LPDDR hay một chồng DRAM kiểu HBM, và liệu logic bên dưới là một bộ tăng tốc chuyên dụng hay GPU thực tế, thay đổi tùy từng trường hợp, nhưng hướng đi là giống nhau trong mọi trường hợp, bộ nhớ ngày càng tiến gần đến logic cho đến khi cuối cùng nằm trên đỉnh của nó.
Và như đã lưu ý, bộ nhớ nằm trên đỉnh logic có nghĩa là bộ nhớ trở thành một thể thống nhất với chip của một khách hàng cụ thể.
Vào cuối quá trình tiến triển này từ cHBM đến memory-on-logic, ngành kinh doanh bộ nhớ dần dần chuyển thành một ngành kinh doanh silicon tùy chỉnh, và những gì Thung lũng Silicon đang nghe thấy gần đây cho thấy rằng sự thay đổi đã bắt đầu ở cấp độ tổ chức.
Vậy điều gì quan trọng từ góc độ đầu tư.
Đó là cách sự chuyển dịch này hướng tới việc các công ty bộ nhớ trở thành các công ty silicon tùy chỉnh thay đổi cấu trúc doanh thu của họ, lợi nhuận di chuyển đến đâu dọc theo chuỗi cung ứng, và những gì cần theo dõi sự tiến triển. Đây là những điều cần tập trung vào. Những gì sau đây đề cập chi tiết đến chúng.
Damnang's Substack là một ấn phẩm được hỗ trợ bởi độc giả. Để nhận được các bài viết mới và hỗ trợ công việc của tôi, hãy cân nhắc trở thành người đăng ký miễn phí hoặc trả phí.
3. Những gì Thung lũng Silicon đang nghe thấy
Có thêm một bằng chứng nữa cho thấy memory-on-logic là một xu hướng thực sự.
Bài viết đầy đủ có sẵn trên Substack.
Vui lòng tham khảo liên kết bên dưới.
