Memory-on-Logic:重新評估超越週期的記憶體價值

@damnang2
英語2026年7月09日
192K
176
30
4
410

TL;DR

半導體工程師 Damnang 解釋了為何從標準 HBM 轉向客製化 Memory-on-Logic 架構,將從根本上改變記憶體公司的估值與營收結構。

市場和近期的多份報告對記憶體產業的態度轉趨悲觀。其論點是,約在 2027 和 2028 年出現的大量產能擴增將使供給追上需求,價格隨之反轉,隨後估值下修,一如傳統週期劇本所示。

我不同意這種看法。

空方論述仍將記憶體視為大宗商品,而此假設底下的技術地貌正在改變。若從工程層面追溯記憶體產業正在發生的結構性轉變,就會清楚看到「無論誰製造,都是同樣的標準零件」這個前提——也就是週期高點論點所依賴的基礎——對即將到來的記憶體來說,越來越不適用。

Damnang - inline image

這個轉變的核心是 HBM 基礎晶片。

基礎晶片轉向邏輯製程,客戶電路整合其中(cHBM),最終記憶體直接疊在客戶的運算晶片之上(memory-on-logic)。

我預期,在這條進程的終點,記憶體公司將從大宗商品製造商轉變為客製化晶片合作夥伴,而記憶體公司當前的動向正指向這個方向。本文將探討技術背景、業界實際的行動,以及此變化對記憶體營收結構與估值的影響。讀完本文,你將理解我為何持續看好記憶體,以及此觀點如何立基於記憶體產業結構本身的改變。

https://x.com/damnang2/status/2054089498070556846

https://x.com/damnang2/status/2038016806653415929

目錄

  1. HBM、cHBM 與 memory-on-logic——三種結構區分
  2. 從 cHBM 到 memory-on-logic——產業推進的順序
  3. 矽谷聽到了什麼
  4. 記憶體營收結構如何改變
  5. 從投資角度來看該關注什麼

免責聲明

本文中的數字與時間線取自公司公告、公開報導與已發表的論文。對於這些數字的解讀與本文表達的展望,完全為我個人的分析,內容不構成買賣任何特定證券的建議。投資決策及其結果的責任由個人投資者承擔。

1. HBM、cHBM 與 memory-on-logic——三種結構區分

HBM

Damnang - inline image

HBM(高頻寬記憶體)將 DRAM 晶片堆疊八層、十二層或十六層,並透過 TSV(矽穿孔)垂直連接。堆疊底部是基礎晶片,負責記憶體控制、I/O 與測試邏輯,是連結 DRAM 堆疊與外部世界的通道。完成的 HBM 堆疊放在 GPU 旁的矽中介層上,經由中介層的佈線與 GPU 連接。堆疊本身是 3D 結構,但由於與 GPU 並排放置而非疊在其上,這種排列稱為 2.5D。在 HBM4 中,GPU 與堆疊之間的介面寬度為 2,048 位元,這些訊號從 GPU 晶片邊緣的 PHY 輸出,穿過中介層佈線,進入基礎晶片。

上方的 DRAM 核心晶片結構大致固定,因為儲存電容陣列佔據其大部分面積,因此堆疊中唯一承載邏輯的層是底部的基礎晶片。GPU 與記憶體之間的所有資料傳輸都經過此層,這使得基礎晶片的處理能力決定了整個堆疊的頻寬與能效,而這個負擔隨著每一代產品增加。介面從 HBM3 的 1,024 位元倍增至 HBM4 的 2,048 位元,每腳位速度同步提升,訊號處理、通道管理與電源管理的複雜度也隨之攀升。

因此,記憶體公司在提升 HBM 性能時,首先著手改善基礎晶片,而起點就是採用的製程。到 HBM3E 為止,基礎晶片使用 DRAM 製程製造,與上方的 DRAM 晶片相同。DRAM 製程專為高電容密度設計,因此在其上建置邏輯電路,會比用邏輯製程建造的相同邏輯更大且更慢。基礎晶片所需的工作量每代增加,DRAM 製程無法跟上,因此從 HBM4 開始,基礎晶片轉向邏輯製程。

SK 海力士採用台積電 12nm 製程,三星採用自家晶圓廠的 4nm 製程,而美光則基於成本考量,在 HBM4 中繼續使用現有 DRAM 製程,並計劃從 HBM4E 開始轉向台積電邏輯製程。

然而,即使製程改變,基礎晶片的設計仍歸記憶體公司所有,產品也仍是符合 JEDEC 規範的標準零件。

cHBM

Damnang - inline image

將基礎晶片移至邏輯製程並未解決 HBM 結構固有的問題。GPU 端長期缺乏用於運算的晶粒面積,而部分稀缺面積被資料傳輸電路(如 HBM 介面與記憶體控制器)佔用。

這就是 cHBM(客製化 HBM)概念的起點。

其思路是將 GPU 端負責與記憶體通訊的電路,下推到位在記憶體堆疊正下方的基礎晶片中。如此一來,GPU 將釋放的面積用於運算,而記憶體相關邏輯直接在資料儲存處下方執行。若在同一位置進行預處理或壓縮,需要傳輸到 GPU 的資料量就會減少,進而節省功耗。

問題在於,JEDEC 標準的基礎晶片是所有客戶的共通基礎,因此沒有空間容納針對特定客戶架構的此類重新佈局。換言之,cHBM 就是脫離標準、以客製化方式設計基礎晶片來建構 HBM 的做法。附帶一提,業界有時將遵循標準的傳統 HBM 稱為 sHBM(標準 HBM)。

設計 cHBM 基礎晶片有多種方式,從記憶體公司依客戶規格設計,到 ASIC(特殊應用積體電路)合作夥伴(如 Marvell)與三家記憶體製造商共同定義基礎晶片,再到客戶直接設計基礎晶片邏輯(如 NVIDIA 的做法)。

無論何種形式,記憶體堆疊與邏輯都必須整合運作,且客戶的設計規格或電路會進入基礎晶片,因此雙方必須從設計初期就共同協商並定義規格。

客戶的部分電路被設計進基礎晶片意味著什麼。

這意味著長期被視為大宗商品的記憶體商業模式,從此開始轉變。承載客戶電路的 HBM 是該客戶的專用零件,無法銷售給他人;而從客戶端來看,內嵌自家電路的記憶體也很難輕易更換為其他供應商的產品。只要規格匹配、任何人的零件都可互換的大宗商品前提,從 cHBM 起就不再成立。

memory-on-logic

Damnang - inline image

當發展到 cHBM 時,基礎晶片看起來已不再是管理記憶體的晶片,而更像是客戶的邏輯晶片。介面屬於客戶,控制器也是,以及填滿剩餘面積的功能亦然。這引出了一個新問題:還有必要建構獨立的基礎晶片嗎?為何不直接將 GPU 本體(即運算晶片)放在基礎晶片的位置,並將記憶體直接疊在上面?這就是 memory-on-logic 結構。運算晶片吸收基礎晶片的所有功能,中介層消失,記憶體堆疊以 3D 方式直接疊在運算晶片上。

此時連接的物理條件改變了。不再透過 2,048 位元的邊緣介面連接 HBM 堆疊與 GPU,連接點遍布整個鍵合界面。TSV 與混合鍵合等垂直鍵合技術將連接密度從數萬提高到數十萬,訊號傳輸距離也從中介層佈線的毫米級縮小到垂直方向的數十微米。

頻寬提升了一個數量級,傳輸每位元所需的能量也隨之改變。2025 年喬治亞理工學院與 SK 海力士的一篇論文分析指出,memory-on-logic 結構可達到 2.5D 結構 64 倍的吞吐量與 3 倍的能效。這些數字是學術模型,不必照單全收,但足以說明改進的方向與幅度。

memory-on-logic 尚未解決的問題是散熱。 將 DRAM 放在功耗數百瓦的運算晶片上,DRAM 會阻擋運算晶片的散熱路徑,同時自身吸收熱量。而 DRAM 對溫度敏感,高溫會縮短其刷新間隔,導致性能下降。最終,如何解決散熱問題,很可能成為決定 memory-on-logic 成敗的最大變數。

以上故事並非從整個 HBM 開始,而是從堆疊底部的一顆晶片開始。

這顆基礎晶片從 DRAM 製程轉向邏輯製程(HBM4),客戶邏輯進入其中(cHBM),最後基礎晶片的位置被客戶的運算晶片取代(memory-on-logic)。

然而,此進程不必解讀為線性的世代更替。cHBM 是未來幾年最實際的商業化路徑,而 memory-on-logic 是更激進的結構,只有在散熱與良率問題解決後才會成為主流。兩者不會立即取代彼此,而可能根據客戶的功耗預算、工作負載與封裝成本,並行採用一段時間。

基礎晶片越靠近客戶的矽晶片,記憶體業務就越接近客製化晶片業務,而且……

我認為,市場至今尚未正確理解記憶體業務上漲空間的關鍵,就在於此。

三家記憶體製造商仍被視為週期性股票,隨位元成長與平均售價波動,而客製化轉型所帶來的營收與利潤結構變化,從未在已公布的數字中出現,因此沒有機會反映在估值模型中。這就是此變化的重大意義,而商業模式與營收結構具體如何改變,將在下方詳述。

2. 從 cHBM 到 memory-on-logic——產業推進的順序

cHBM 已出現在產品路線圖上。cHBM 的應用持續被提及與預計 2028 年推出的 NVIDIA Feynman 世代相關,不過 NVIDIA 尚未正式確認細節,因此這最好視為該世代值得關注的關鍵點,而非既定事實。三星、SK 海力士與美光均已將客製化 HBM 納入官方路線圖,Marvell 也已宣布與三家記憶體製造商共同開發客製化 HBM 架構。客戶專用基礎晶片取代標準基礎晶片的轉變,已進入執行階段。

在 cHBM 落地路線圖的同時,下一階段 memory-on-logic 則出現了具有公開生產時程的案例。

那就是高通在 2026 年 6 月投資者日發表的 HBC(高頻寬運算)。

它尚未上市。搭載 HBC Gen1 的 AI250 加速器預計於 2027 年中推出,Gen2 則在後續路線圖上。HBC 屬於 memory-on-logic 家族,但其記憶體是 LPDDR(低功耗 DDR),而非 HBM,且堆疊下方的晶片是專用的近記憶體加速器,而非 GPU 本體。

Damnang - inline image

來看其結構。高通將 AI 加速器與 SoC 分開。它將 LPDDR 堆疊疊在分離的加速器晶片上,並以 TSV 連接。此 HBC 單元與 SoC 並排放置在一般的有機基板上,沒有矽中介層,也沒有 CoWoS 這類 2.5D 先進封裝。此設計旨在同時繞過兩個瓶頸:HBM 供應短缺與先進封裝產能短缺。

高通選擇 LPDDR 是基於容量與功耗考量。LPDDR 是專為低功耗設計的 DRAM 家族,因此每個堆疊的功耗負擔小,且易於擴展容量。高通對 memory-on-logic 散熱問題的解答就在這裡:將低功耗專用加速器(而非高功耗 GPU 本體)置於下方,同時使用低功耗 LPDDR 作為記憶體,使整體落在熱預算內。

高通宣稱其每瓦頻寬是 HBM 的 6 倍,每瓦容量是晶片內 SRAM 的 200 倍。這些數字需要詳細的白皮書與實際硬體來驗證,但客戶端的動作已經出現。

沙烏地阿拉伯的 Humain 已將搭載 HBC Gen1 的 AI250 機櫃納入其部署計劃,且根據報導,微軟的 Nadella 也提及在 Azure 資料中心部署高通 HBC。一個距離上市還有一年的產品,已經有大規模基礎設施客戶與超大型資料中心業者的名字圍繞,這本身就證明了對此結構的需求。

高通並非唯一朝 memory-on-logic 邁進的公司。

有報導指出,SK 海力士自 2023 年以來,已與包括 NVIDIA 在內的多家無晶圓廠公司討論將 HBM 直接疊在處理器上的方法,同時也討論了利用台積電晶圓鍵合技術將記憶體鍵合在邏輯晶圓上的製造方式。

台灣的 ASIC 設計公司 GUC 提出了 DoL(DRAM-on-Logic),將一到四層 DRAM 放在邏輯之上。上方是 LPDDR 還是 HBM 型 DRAM 堆疊,下方邏輯是專用加速器還是 GPU 本體,依情況而異,但方向一致:記憶體持續向邏輯靠近,最終疊在其上。

如前所述,記憶體疊在邏輯上,意味著記憶體與特定客戶的晶片合為一體。

從 cHBM 到 memory-on-logic 的進程終點,記憶體業務逐漸轉變為客製化晶片業務,而矽谷近期聽到的消息顯示,此變化已在組織層級開始。

那麼,從投資角度來看,重要的是什麼?

是記憶體公司轉型為客製化晶片公司,如何改變其營收結構、利潤在供應鏈中如何移動,以及該追蹤什麼來觀察進程。這些都是要關注的重點。以下將詳細說明。

Damnang 的 Substack 是讀者支持的刊物。要接收新文章並支持我的工作,可以考慮成為免費或付費訂閱者。

3. 矽谷聽到了什麼

還有一項證據顯示 memory-on-logic 是真實趨勢。

完整文章可在 Substack 上閱讀。

請參考以下連結。

https://open.substack.com/pub/damnang2/p/memory-on-logic-re-rating-memory?r=5ggurd&utm_campaign=post-expanded-share&utm_medium=web

Damnang - inline image
一鍵儲存

使用 YouMind AI 深度閱讀爆款文章

保存原文、追問細節、總結觀點,並在一個 AI 工作空間裡把爆款文章沉澱成可複用筆記。

了解 YouMind
寫給創作者

把你的 Markdown 變成乾淨的 𝕏 文章

圖片上傳、表格、程式碼區塊,往 𝕏 上手動重排太痛苦。YouMind 把整篇 Markdown 一鍵轉成乾淨、可直接發佈的 𝕏 文章草稿。

試試 Markdown 轉 𝕏

更多可拆解樣本

近期爆款文章

探索更多爆款文章