시장과 최근 여러 보고서들은 메모리 업황에 대해 비관적인 전망을 내놓고 있습니다. 그 논리는 2027년과 2028년경에 도래할 대규모 생산능력 증설 물량이 공급을 수요에 맞추게 하고, 가격이 하락 반전하며, 과거의 전형적인 사이클 시나리오대로 업종 평가가 하향 조정될 것이라는 내용입니다.
저는 이러한 견해에 동의하지 않습니다.
비관론은 여전히 메모리를 단순한 상품(commodity)으로 평가하지만, 그 밑바탕에 깔린 기술적 지형은 지금 변화하고 있습니다. 엔지니어링 수준에서 메모리 산업에 진행 중인 구조적 변화를 추적해 보면, 사이클 정점론이 의존하는 "어느 업체가 만들든 동일한 표준 부품"이라는 전제가 앞으로 등장할 메모리에는 점점 덜 적용된다는 것이 분명해집니다.
이러한 변화의 중심에는 HBM 베이스 다이(base die)가 있습니다.
베이스 다이는 로직 공정으로 전환되고, 고객의 회로가 그 안으로 들어가며(cHBM), 최종적으로는 메모리가 고객의 컴퓨팅 다이 위에 직접 적층됩니다(memory-on-logic).
저는 이 진화의 끝에서 메모리 기업들이 상품(commodity) 제조사에서 커스텀 실리콘 파트너로 전환할 것으로 예상하며, 현재 메모리 기업들의 움직임도 그 방향을 가리키고 있습니다. 이 글에서는 기술적 배경, 업계 전반에서 실제로 이루어지고 있는 움직임, 그리고 이러한 변화가 메모리 매출 구조와 가치 평가에 의미하는 바를 설명합니다. 글을 다 읽고 나면, 제가 왜 메모리 업종에 대해 여전히 낙관적인지, 그리고 그 이유가 메모리 비즈니스 자체의 구조 변화에 기반하고 있음을 이해하게 될 것입니다.
https://x.com/damnang2/status/2054089498070556846
https://x.com/damnang2/status/2038016806653415929
목차
- HBM, cHBM, memory-on-logic, 세 가지 구조의 구분
- cHBM에서 memory-on-logic으로, 업계가 움직이는 순서
- 실리콘밸리에서 들려오는 소식
- 메모리 매출 구조의 변화
- 투자 관점에서 주목할 점
면책 고지
본문의 수치와 일정은 기업 발표, 공개 보고서, 발표된 논문을 인용한 것입니다. 해당 수치에 대한 해석과 여기에 표현된 전망은 전적으로 제 개인 분석이며, 본문의 어떤 내용도 특정 증권의 매수 또는 매도를 권유하는 것이 아닙니다. 투자 결정과 그 결과에 대한 책임은 개인 투자자에게 있습니다.
1. HBM, cHBM, memory-on-logic, 세 가지 구조의 구분
HBM
HBM(High Bandwidth Memory)은 DRAM 다이를 8개, 12개, 또는 16개로 적층하고 TSV(Through-Silicon Via)로 수직 연결합니다. 적층체의 맨 아래에는 베이스 다이(base die)가 있습니다. 베이스 다이는 메모리 제어, I/O, 테스트 로직을 처리하고, DRAM 적층체를 외부 세상과 연결하는 게이트웨이 역할을 합니다. 완성된 HBM 적층체는 실리콘 인터포저 위에서 GPU 옆에 배치되며 인터포저 배선을 통해 GPU와 연결됩니다. 적층체 자체는 3D이지만 GPU 위에 직접 적층되지 않고 나란히 배치되므로, 이 구조를 2.5D라고 부릅니다. HBM4에서 GPU와 적층체 간 인터페이스는 2,048비트 폭이며, 해당 신호는 GPU 다이 가장자리의 PHY를 떠나 인터포저 배선을 가로질러 베이스 다이로 전달됩니다.
위쪽의 DRAM 코어 다이들은 데이터를 저장하는 커패시터 어레이가 면적의 대부분을 차지하기 때문에 구조가 거의 고정되어 있습니다. 따라서 적층체에서 로직을 포함하는 유일한 층은 맨 아래의 베이스 다이입니다. GPU와 메모리 사이를 오가는 모든 바이트는 이 층을 통과하며, 이로 인해 베이스 다이의 처리 능력이 전체 적층체의 대역폭과 전력 효율을 결정하는 요소가 됩니다. 이러한 부담은 세대가 거듭될수록 커집니다. 인터페이스는 HBM3의 1,024비트에서 HBM4의 2,048비트로 두 배가 되었고, 핀당 속도도 함께 증가했으며, 신호 처리, 채널 관리, 전력 관리의 복잡성도 매 단계마다 높아졌습니다.
이러한 이유로 메모리 기업들은 HBM 성능을 개선할 때 베이스 다이를 가장 먼저 개선해 왔으며, 그 출발점은 베이스 다이를 제조하는 공정이었습니다. HBM3E까지 베이스 다이는 위의 DRAM 다이와 동일한 DRAM 공정으로 제조되었습니다. DRAM 공정은 높은 커패시터 밀도에 특화되어 있어, 여기에 로직 회로를 구현하면 동일한 로직을 로직 공정으로 구현한 것보다 크기가 더 크고 속도가 더 느려집니다. 베이스 다이가 수행해야 하는 작업은 매 세대 증가하지만 DRAM 공정으로는 따라잡을 수 없기 때문에, HBM4부터 베이스 다이는 로직 공정으로 전환되기 시작했습니다.
SK 하이닉스는 TSMC의 12nm 공정으로, 삼성은 자사 파운드리의 4nm 공정으로 베이스 다이를 제작하며, 마이크론만이 비용 문제로 HBM4까지는 기존 DRAM 공정에 베이스 다이를 유지하고 HBM4E부터 TSMC 로직 공정으로 전환할 계획입니다.
하지만 공정이 바뀌더라도 이 베이스 다이의 설계는 여전히 메모리 기업의 소유이며, 제품은 JEDEC 사양을 준수하는 표준 부품으로 남습니다.
cHBM
베이스 다이를 로직 공정으로 옮기는 것만으로는 HBM 구조에 내재된 문제가 해결되지 않습니다. GPU 쪽은 연산을 위한 다이 면적이 만성적으로 부족하며, 그 부족한 면적의 일부를 HBM 인터페이스와 메모리 컨트롤러 같은 데이터 이동 회로가 차지하고 있습니다.
바로 여기서 cHBM(custom HBM) 개념이 시작됩니다.
아이디어는 GPU 쪽에서 메모리와 통신하는 회로를 메모리 적층체 바로 아래에 있는 베이스 다이로 내리는 것입니다. 그러면 GPU는 확보된 면적을 연산에 사용할 수 있고, 메모리 관련 로직은 데이터가 저장된 바로 아래에서 실행됩니다. 같은 위치에서 전처리나 압축을 처리하면 GPU로 이동해야 하는 데이터 양이 줄어들어 전력도 절약됩니다.
문제는 JEDEC 표준 베이스 다이가 모든 고객의 공통 분모 역할을 하기 때문에, 특정 고객 아키텍처에 맞춰 조정된 이러한 종류의 재배치를 위한 공간이 없다는 것입니다. 즉, cHBM은 표준에서 벗어나 베이스 다이를 커스텀 방식으로 설계하여 HBM을 구축하는 접근 방식입니다. 참고로, 업계에서는 표준을 따르는 기존 HBM을 sHBM(standard HBM)이라고 부르기도 합니다.
cHBM 베이스 다이를 설계하는 방법은 여러 가지입니다. 메모리 기업이 고객 사양에 맞춰 설계하는 방법부터, Marvell과 같은 ASIC(Application-Specific Integrated Circuit) 파트너가 세 메모리 제조사와 공동으로 베이스 다이를 정의하는 방법, NVIDIA처럼 고객이 베이스 다이 로직을 직접 설계하는 방법까지 다양합니다.
어떤 형태든 메모리 적층체와 로직은 하나로 동작해야 하며, 고객의 설계 사양이나 회로가 베이스 다이에 들어가므로, 양측은 설계 초기 단계부터 함께 모여 사양을 정의할 수밖에 없습니다.
고객 회로의 일부가 베이스 다이에 설계된다는 것이 의미하는 바.
이는 오랫동안 상품(commodity)으로 여겨져 온 메모리의 비즈니스 모델이 이 지점부터 변화하기 시작함을 의미합니다. 고객의 회로를 탑재한 HBM은 해당 고객의 전용 부품이므로 다른 곳에 판매할 수 없으며, 고객 입장에서도 자체 회로가 내장된 메모리는 다른 공급업체의 제품으로 쉽게 대체할 수 없습니다. 사양만 맞으면 어느 업체 제품이든 교체 가능하다는 상품(commodity) 전제는 cHBM 이후로 더 이상 유효하지 않습니다.
memory-on-logic
cHBM 단계에 이르면, 베이스 다이는 메모리 관리용 칩이라기보다 고객의 로직 칩처럼 보입니다. 인터페이스는 고객의 것이고, 컨트롤러도 그렇고, 남은 면적을 채우는 기능들도 마찬가지입니다. 그러면 새로운 질문이 생깁니다. 별도의 베이스 다이를 만들 이유가 있을까요? GPU 본체, 즉 컴퓨팅 다이를 베이스 다이 위치에 두고 메모리를 그 위에 직접 적층하면 어떨까요? 그 구조가 바로 memory-on-logic입니다. 컴퓨팅 다이가 베이스 다이의 모든 역할을 흡수하고, 인터포저는 사라지며, 메모리 적층체는 컴퓨팅 다이 위에 3D로 직접 적층됩니다.
이 시점에서 연결의 물리적 조건이 바뀝니다. 2,048비트 에지 인터페이스를 통해 HBM 적층체와 GPU를 연결하는 대신, 연결 지점이 전체 본딩 인터페이스에 분산됩니다. TSV 및 하이브리드 본딩과 같은 수직 본딩 방식은 연결 밀도를 수만 개에서 수십만 개로 높이고, 신호가 이동하는 거리는 인터포저 배선의 밀리미터 단위에서 수직 방향의 수십 마이크로미터로 줄어듭니다.
대역폭은 한 자릿수 이상 변화하고, 비트 하나를 이동시키는 데 필요한 에너지도 마찬가지로 변화합니다. 2025년 조지아 공과대학과 SK 하이닉스의 논문에서는 memory-on-logic 구조가 2.5D 대비 64배의 처리량과 3배의 에너지 효율을 제공할 수 있다고 분석했습니다. 이 수치는 학술적 모델링 결과이므로 액면 그대로 받아들일 필요는 없지만, 개선의 방향과 규모를 잘 보여줍니다.
memory-on-logic의 미해결 문제는 열입니다. 수백 와트를 소모하는 컴퓨팅 다이 위에 DRAM을 배치하면 DRAM이 컴퓨팅 다이의 열 방출 경로를 차단하면서 열 자체를 흡수하게 됩니다. 또한 온도에 민감한 DRAM은 열을 받으면 리프레시 간격이 짧아져 성능 저하로 이어질 수 있습니다. 결국 이 열 문제를 어떻게 해결하느냐가 memory-on-logic의 성공을 결정하는 가장 큰 변수가 될 가능성이 높습니다.
지금까지의 이야기는 HBM 전체가 아니라 적층체 맨 아래에 있는 단일 다이에서 시작됩니다.
그 베이스 다이는 DRAM 공정에서 로직 공정으로 이동하고(HBM4), 고객 로직이 그 안으로 들어가며(cHBM), 마지막으로 베이스 다이의 위치를 고객의 컴퓨팅 다이가 차지합니다(memory-on-logic).
하지만 이 진행 과정이 선형적인 세대 교체로 읽혀서는 안 됩니다. cHBM은 향후 몇 년간 가장 현실적인 상용화 경로인 반면, memory-on-logic은 열과 수율 문제가 해결된 후에야 주류가 될 더 급진적인 구조입니다. 하나가 즉시 다른 하나를 대체하기보다는, 고객의 전력 예산, 워크로드, 패키징 비용에 따라 두 구조가 당분간 병행하여 채택될 가능성이 높습니다.
베이스 다이가 고객의 실리콘에 가까워질수록, 메모리 비즈니스는 커스텀 실리콘 비즈니스에 가까워집니다. 그리고....
제 생각에 이것이 바로 시장이 메모리 비즈니스의 상승 여력에 대해 아직 제대로 파악하지 못하고 있는 지점입니다.
세 메모리 제조사는 여전히 비트 성장과 ASP에 따라 움직이는 사이클 주식으로 평가되고 있으며, 커스텀 전환이 가져올 매출 및 마진 구조의 변화는 아직 실적 수치에 나타난 적이 없기 때문에 가치 평가 모델에 반영될 기회를 갖지 못했습니다. 이것이 이 변화가 얼마나 중요한지, 그리고 비즈니스 모델과 매출 구조가 정확히 어떻게 변화하는지에 대해서는 아래에서 자세히 다룹니다.
2. cHBM에서 memory-on-logic으로, 업계가 움직이는 순서
cHBM은 이미 제품 로드맵에 가시화되어 있습니다. 2028년으로 예정된 NVIDIA Feynman 세대에 cHBM 적용이 계속 거론되고 있지만, NVIDIA가 공식적으로 세부 사항을 확인하지는 않았으므로, 이는 확정된 사실이라기보다 해당 세대에서 주목해야 할 핵심 포인트로 다루는 것이 좋습니다. 삼성, SK 하이닉스, 마이크론 모두 공식 로드맵에 커스텀 HBM을 배치했으며, Marvell은 세 메모리 제조사와 공동으로 커스텀 HBM 아키텍처를 개발 중이라고 발표했습니다. 표준 베이스 다이 자리에 고객 맞춤형 베이스 다이가 들어가는 변화는 이미 실행 단계에 진입했습니다.
cHBM이 로드맵에 자리 잡는 동안, 다음 단계인 memory-on-logic은 공개된 생산 일정과 함께 자체 사례를 만들어냈습니다.
바로 2026년 6월 Qualcomm의 Investor Day에서 공개된 HBC(High Bandwidth Compute)입니다.
아직 시장에 출시된 제품은 아닙니다. HBC Gen1을 탑재한 AI250 가속기는 2027년 중반 출시 예정이며, Gen2는 후속 로드맵에 있습니다. HBC는 memory-on-logic 제품군에 속하지만, 메모리는 HBM이 아닌 LPDDR(Low Power DDR)이고, 적층체 아래에 배치되는 다이는 GPU 본체가 아닌 전용 니어-메모리 가속기입니다.
구조를 생각해 보십시오. Qualcomm은 AI 가속기를 SoC에서 분리했습니다. 분리된 가속기 다이 위에 LPDDR 적층체를 쌓고 TSV로 연결합니다. 이 HBC 유닛과 SoC는 일반적인 유기 기판 위에 나란히 놓입니다. 실리콘 인터포저도 없고, CoWoS와 같은 2.5D 고급 패키징도 없습니다. 이 설계는 HBM 공급 부족과 고급 패키징 용량 부족이라는 두 가지 병목 현상을 동시에 우회하기 위한 것입니다.
Qualcomm은 용량과 전력을 위해 LPDDR을 선택했습니다. LPDDR은 저전력용으로 설계된 DRAM 제품군이므로 적층체당 전력 부담이 작고 용량 확장에 유리합니다. 바로 여기에 Qualcomm의 memory-on-logic 열 문제에 대한 해결책이 있습니다. 뜨거운 GPU 본체 대신 저전력 전용 가속기를 아래에 배치하고 메모리에도 저전력 LPDDR을 사용함으로써 전체가 열 예산 내에 들어옵니다.
Qualcomm은 HBM 대비 와트당 대역폭이 6배, 온칩 SRAM 대비 와트당 용량이 200배라고 주장합니다. 제시된 수치는 상세한 백서와 실제 하드웨어를 통해 검증이 필요하지만, 고객 측의 움직임은 이미 나타났습니다.
사우디아라비아의 Humain은 HBC Gen1을 탑재한 AI250 랙을 자체 배치 계획에 포함시켰으며, 보도에 따르면 Microsoft의 Nadella도 Azure 데이터 센터에 Qualcomm HBC를 배치하는 방안에 대해 언급했습니다. 출시까지 아직 1년이 남은 제품에 대규모 인프라 고객과 하이퍼스케일러의 이름이 회자되고 있다는 것은 그 자체로 이 구조에 대한 수요를 증명하는 것입니다.
memory-on-logic으로 움직이는 곳은 Qualcomm만이 아닙니다.
SK 하이닉스가 2023년부터 NVIDIA를 포함한 여러 팹리스 기업들과 프로세서 위에 HBM을 직접 적층하는 방법을 논의해 왔다는 보도가 있었으며, TSMC의 웨이퍼 본딩을 사용하여 로직 웨이퍼 위에 메모리를 본딩하는 제조 접근법도 함께 언급되었습니다.
대만의 ASIC 설계 하우스 GUC는 로직 위에 1~4층의 DRAM을 배치하는 DoL(DRAM-on-Logic)을 제안했습니다. 위에 배치되는 것이 LPDDR인지 HBM 방식의 DRAM 적층체인지, 아래의 로직이 전용 가속기인지 GPU 본체인지는 경우에 따라 다르지만, 방향은 모든 경우에서 동일합니다. 메모리가 로직에 꾸준히 가까워지다가 결국 그 위에 놓이게 되는 것입니다.
그리고 앞서 언급했듯이, 메모리가 로직 위에 놓인다는 것은 메모리가 특정 고객의 칩과 하나의 몸체가 된다는 것을 의미합니다.
cHBM에서 memory-on-logic으로의 이러한 진화 과정이 끝나면, 메모리 비즈니스는 점차 커스텀 실리콘 비즈니스로 전환되며, 최근 실리콘밸리에서 들려오는 소식들은 이러한 변화가 이미 조직 수준에서 시작되었음을 시사합니다.
그렇다면 투자 관점에서 중요한 것은 무엇일까요?
메모리 기업들이 커스텀 실리콘 기업으로 전환하는 이러한 변화가 그들의 매출 구조를 어떻게 바꾸는지, 공급망의 어디에서 이익이 이동하는지, 그리고 그 진행 상황을 무엇으로 추적할 수 있는지입니다. 이것들이 바로 집중해야 할 사항들입니다. 아래에서 이에 대해 자세히 다룹니다.
Damnang의 Substack은 독자 후원으로 운영됩니다. 새 게시물을 받아보고 제 작업을 지원하려면 무료 또는 유료 구독자가 되는 것을 고려해 주세요.
3. 실리콘밸리에서 들려오는 소식
memory-on-logic이 실제 트렌드라는 증거가 하나 더 있습니다.
전체 기사는 Substack에서 확인하실 수 있습니다.
아래 링크를 참조해 주세요.
