Il mercato e alcuni recenti report sono diventati ribassisti sulla memoria. La tesi è che l'ondata di aggiunte di capacità prevista intorno al 2027 e al 2028 permetterà all'offerta di raggiungere la domanda, i prezzi caleranno e seguirà un de-rating proprio come dettato dal vecchio copione ciclico.
Non sono d'accordo con questa visione.
Il caso ribassista considera ancora la memoria come una commodity, ma il terreno tecnologico sottostante a questa ipotesi sta cambiando proprio ora. Se si traccia il cambiamento strutturale in atto nell'industria della memoria a livello ingegneristico, diventa chiaro che la premessa "stesso componente standard indipendentemente da chi lo produce", su cui si basa l'argomentazione del picco ciclico, si applica sempre meno alla memoria che sta arrivando.
Al centro di questo cambiamento c'è il die di base HBM.
Il die di base passa a un processo logico, i circuiti del cliente vi vengono integrati (cHBM) e, alla fine, la memoria si trova direttamente sopra il die di calcolo del cliente (memory-on-logic).
Prevedo che, al termine di questa progressione, le aziende di memoria passeranno dall'essere produttori di commodity a partner di silicio personalizzato, e il modo in cui le aziende di memoria si stanno muovendo oggi indica in quella direzione. Questo articolo illustra il background tecnico, le mosse concrete in atto in tutto il settore e cosa questo cambiamento significhi per la struttura dei ricavi e la valutazione della memoria. Alla fine, capirete perché rimango rialzista sulla memoria e perché questo ragionamento si basa su un cambiamento nella struttura del business della memoria stesso.
https://x.com/damnang2/status/2054089498070556846
https://x.com/damnang2/status/2038016806653415929
Indice dei contenuti
- HBM, cHBM e memory-on-logic: tre strutture distinte
- Da cHBM a memory-on-logic: l'ordine in cui si muove il settore
- Cosa si sente nella Silicon Valley
- Come cambia la struttura dei ricavi della memoria
- Cosa osservare dal punto di vista degli investimenti
Disclaimer
Le cifre e le tempistiche in questo articolo sono tratte da annunci aziendali, rapporti pubblici e documenti pubblicati. L'interpretazione di queste cifre e le prospettive qui espresse sono interamente le mie analisi, e nulla di quanto contenuto costituisce una raccomandazione all'acquisto o alla vendita di alcun titolo specifico. La responsabilità delle decisioni di investimento e dei loro risultati ricade sul singolo investitore.
1. HBM, cHBM e memory-on-logic: tre strutture distinte
HBM
L'HBM (High Bandwidth Memory) impila i die DRAM a otto, dodici o sedici livelli e li collega verticalmente tramite TSV (Through-Silicon Vias). Alla base della pila si trova il die di base. Gestisce il controllo della memoria, l'I/O e la logica di test, e funge da gateway che collega la pila DRAM al mondo esterno. La pila HBM finita viene posizionata accanto alla GPU su un interposer di silicio e si collega alla GPU tramite i collegamenti dell'interposer. La pila stessa è 3D, ma poiché è posizionata affiancata alla GPU anziché sopra di essa, la disposizione è chiamata 2.5D. Nell'HBM4, l'interfaccia tra la GPU e la pila è larga 2.048 bit, e questi segnali lasciano il PHY al bordo del die della GPU, attraversano i collegamenti dell'interposer e passano nel die di base.
I die core DRAM sovrastanti sono in gran parte fissi nella struttura, poiché la matrice di condensatori che memorizza i dati occupa la maggior parte della loro area, quindi l'unico strato nella pila che trasporta logica è il die di base in fondo. Ogni byte che si muove tra GPU e memoria passa attraverso questo strato, il che rende la capacità di elaborazione del die di base il determinante della larghezza di banda e dell'efficienza energetica dell'intera pila, e questo onere cresce con ogni generazione. L'interfaccia è raddoppiata da 1.024 bit nell'HBM3 a 2.048 bit nell'HBM4, la velocità per pin è aumentata di pari passo, e la complessità dell'elaborazione del segnale, della gestione dei canali e della gestione dell'alimentazione è cresciuta a ogni passo.
Per questo motivo, le aziende di memoria hanno lavorato prima sul die di base quando migliorano le prestazioni dell'HBM, e il punto di partenza è stato il processo utilizzato per costruirlo. Fino all'HBM3E, il die di base era fabbricato con un processo DRAM, lo stesso dei die DRAM sovrastanti. Un processo DRAM è specializzato per un'alta densità di condensatori, quindi mettere circuiti logici su di esso produce qualcosa di più grande e più lento della stessa logica costruita su un processo logico. Il lavoro che il die di base deve fare cresce a ogni generazione, e un processo DRAM non può tenere il passo, quindi a partire dall'HBM4, il die di base ha iniziato a passare a un processo logico.
SK hynix lo costruisce sul processo a 12nm di TSMC e Samsung sul processo a 4nm della propria fonderia, mentre Micron mantiene da solo il die di base sul suo esistente processo DRAM per l'HBM4 per motivi di costo e prevede di passare a un processo logico TSMC a partire dall'HBM4E.
Tuttavia, anche con il cambiamento di processo, la progettazione di questo die di base appartiene ancora all'azienda di memoria, e il prodotto rimane un componente standard conforme alle specifiche JEDEC.
cHBM
Spostare il die di base su un processo logico non elimina il problema insito nella struttura HBM. Il lato GPU è cronicamente carente di area del die per il calcolo, e parte di quell'area scarsa è occupata da circuiti di movimento dati come l'interfaccia HBM e il controller di memoria.
È qui che inizia il concetto di cHBM (custom HBM).
L'idea è di spingere i circuiti sul lato GPU che comunicano con la memoria verso il basso nel die di base, che si trova comunque direttamente sotto la pila di memoria. La GPU spende quindi l'area liberata per il calcolo, e la logica relativa alla memoria funziona proprio dove i dati sono memorizzati. Gestire la pre-elaborazione o la compressione nello stesso punto riduce il volume di dati che devono viaggiare verso la GPU, risparmiando anche energia.
Il problema è che un die di base standard JEDEC è il denominatore comune per ogni cliente, quindi non ha spazio per questo tipo di riposizionamento ottimizzato per l'architettura di un cliente specifico. In altre parole, cHBM è l'approccio di allontanarsi dallo standard e progettare il die di base in modo personalizzato per costruire l'HBM. Come nota a margine, l'industria a volte si riferisce all'HBM convenzionale che segue lo standard come sHBM (standard HBM).
Ci sono diversi modi per progettare un die di base cHBM. Vanno dall'azienda di memoria che lo progetta secondo le specifiche del cliente, a un partner ASIC (Application-Specific Integrated Circuit) come Marvell che definisce il die di base congiuntamente con i tre produttori di memoria, al cliente che progetta direttamente la logica del die di base, come fa NVIDIA.
In ogni forma, la pila di memoria e la logica devono operare come un'unica entità, e le specifiche di progettazione o i circuiti del cliente entrano nel die di base, quindi le due parti non hanno altra scelta che sedersi insieme e definire la specifica dalla fase più precoce della progettazione.
Cosa significa che parte dei circuiti di un cliente viene progettata nel die di base.
Significa che il modello di business della memoria, a lungo considerata una commodity, inizia a cambiare da questo punto. Un HBM che trasporta i circuiti di un cliente è un componente dedicato a quel cliente e non può essere venduto altrove, e dal lato del cliente, la memoria con i propri circuiti integrati non può essere facilmente scambiata con il prodotto di un altro fornitore. La premessa della commodity secondo cui il componente di chiunque è intercambiabile purché le specifiche corrispondano non vale più a partire da cHBM.
memory-on-logic
Quando si arriva a cHBM, il die di base assomiglia meno a un chip per la gestione della memoria e più al chip logico del cliente. L'interfaccia appartiene al cliente, così come il controller, e così le funzioni che riempiono l'area rimanente. Questo solleva una nuova domanda. C'è un motivo per costruire un die di base separato? Perché non posizionare la GPU vera e propria, il die di calcolo, nella posizione del die di base e impilare la memoria direttamente sopra di esso? Quella struttura è memory-on-logic. Il die di calcolo assorbe tutto ciò che faceva il die di base, l'interposer scompare e la pila di memoria viene impilata in 3D direttamente sopra il die di calcolo.
A questo punto, le condizioni fisiche della connessione cambiano. Invece di unire la pila HBM e la GPU attraverso un'interfaccia periferica a 2.048 bit, i punti di connessione si diffondono attraverso l'intera interfaccia incollata. Metodi di bonding verticale come TSV e hybrid bonding spingono la densità di connessione da decine di migliaia a centinaia di migliaia, e la distanza percorsa da un segnale si riduce dai millimetri dei collegamenti dell'interposer a decine di micrometri in direzione verticale.
La larghezza di banda cambia di un ordine di grandezza, e così l'energia necessaria per spostare un bit. Un articolo del 2025 del Georgia Tech e SK hynix ha analizzato una struttura memory-on-logic con una capacità di 64 volte la produttività e tre volte l'efficienza energetica del 2.5D. I numeri sono modelli accademici e non vanno presi per oro colato, ma sono una buona illustrazione della direzione e dell'entità del miglioramento.
Il problema irrisolto con memory-on-logic è il calore. Posizionare DRAM sopra un die di calcolo che consuma centinaia di watt blocca il percorso di fuga termica del die di calcolo mentre la DRAM stessa assorbe quel calore. E la DRAM, sensibile alla temperatura, vede il suo intervallo di refresh accorciarsi sotto il calore, aprendo la porta a prestazioni degradate. Alla fine, il modo in cui questo problema del calore viene risolto sarà probabilmente la singola variabile più grande che determina il successo di memory-on-logic.
La storia fin qui non inizia con l'HBM nel suo complesso, ma con un singolo die alla base della pila.
Questo die di base passa da un processo DRAM a un processo logico (HBM4), la logica del cliente vi si sposta (cHBM) e, infine, la posizione del die di base viene presa dal die di calcolo del cliente (memory-on-logic).
Questa progressione non deve essere letta però come una sostituzione lineare di generazione. cHBM è il percorso di commercializzazione più realistico per i prossimi anni, mentre memory-on-logic è una struttura più radicale che raggiungerà il mainstream solo quando i problemi di calore e resa saranno risolti. Piuttosto che una sostituzione immediata dell'altra, è probabile che le due strutture vengano adottate in parallelo per un po', a seconda del budget energetico, del carico di lavoro e del costo del packaging del cliente.
Più il die di base si avvicina al silicio del cliente, più il business della memoria si avvicina a un business di silicio personalizzato, e...
Penso che questo sia precisamente il punto che il mercato non ha ancora compreso adeguatamente riguardo al potenziale rialzo nel business della memoria.
I tre produttori di memoria sono ancora valutati come titoli ciclici che si muovono sulla crescita dei bit e sul prezzo medio di vendita (ASP), e i cambiamenti nella struttura dei ricavi e dei margini che la transizione personalizzata produrrà non sono mai apparsi nei numeri riportati, quindi non hanno avuto l'opportunità di essere riflessi nei modelli di valutazione. Ecco quanto è significativo questo cambiamento, e come esattamente il modello di business e la struttura dei ricavi cambiano è trattato in dettaglio di seguito.
2. Da cHBM a memory-on-logic: l'ordine in cui si muove il settore
cHBM è già visibile sulle roadmap di prodotto. L'applicazione di cHBM continua a emergere per la generazione NVIDIA Feynman prevista per il 2028, sebbene NVIDIA non abbia confermato ufficialmente i dettagli, quindi è meglio considerarlo un punto chiave da osservare per quella generazione piuttosto che un fatto accertato. Samsung, SK hynix e Micron hanno tutti posizionato HBM personalizzato sulle loro roadmap ufficiali, e Marvell ha annunciato di co-sviluppare un'architettura HBM personalizzata con i tre produttori di memoria. Il passaggio da die di base standard a die di base specifici per il cliente è già entrato in fase di esecuzione.
Mentre cHBM si consolida sulle roadmap, la fase successiva, memory-on-logic, ha prodotto il suo caso con una tempistica di produzione divulgata.
Si tratta di HBC (High Bandwidth Compute) di Qualcomm, svelato al suo Investor Day del giugno 2026.
Non è ancora un prodotto sul mercato. L'acceleratore AI250 con HBC Gen1 dovrebbe essere lanciato a metà del 2027, con Gen2 nella roadmap successiva. HBC appartiene alla famiglia memory-on-logic, ma la memoria è LPDDR (Low Power DDR) anziché HBM, e il die posizionato sotto la pila è un acceleratore near-memory dedicato piuttosto che la GPU vera e propria.
Considerate la struttura. Qualcomm ha separato l'acceleratore AI dal SoC. Impila una pila LPDDR sopra il die dell'acceleratore separato e li collega con TSV. Questa unità HBC e il SoC siedono fianco a fianco su un ordinario substrato organico. Non c'è interposer di silicio e nessun packaging avanzato 2.5D come CoWoS. Il design è pensato per aggirare due colli di bottiglia contemporaneamente: la carenza di approvvigionamento HBM e la carenza di capacità di packaging avanzato.
Qualcomm ha scelto LPDDR per capacità e potenza. LPDDR è una famiglia di DRAM progettata per basso consumo, quindi l'onere energetico per pila è piccolo e si presta all'espansione della capacità. La risposta di Qualcomm al problema del calore di memory-on-logic sta proprio qui. Invece della GPU calda vera e propria, posiziona un acceleratore dedicato a basso consumo sotto e utilizza anche LPDDR a basso consumo per la memoria, quindi il tutto rientra nel budget termico.
Qualcomm afferma di avere sei volte la larghezza di banda per watt dell'HBM e 200 volte la capacità per watt dello SRAM on-chip. Le cifre dichiarate necessiteranno di un whitepaper dettagliato e hardware reale per essere verificate, ma il movimento dal lato del cliente è già apparso.
Humain dell'Arabia Saudita ha incluso rack AI250 con HBC Gen1 nei suoi piani di implementazione, e secondo i rapporti, anche Nadella di Microsoft ha parlato di implementare HBC di Qualcomm nei data center Azure. Il fatto che un prodotto ancora a un anno dal lancio abbia già i nomi di un grande cliente infrastrutturale e di un hyperscaler che circolano attorno è di per sé una prova della domanda per questa struttura.
Qualcomm non è l'unica a muoversi verso memory-on-logic.
Ci sono state notizie che SK hynix stava discutendo, dal 2023, un metodo per impilare HBM direttamente sopra un processore con diverse aziende fabless, inclusa NVIDIA, e un approccio produttivo di bonding della memoria su un wafer logico utilizzando il wafer bonding di TSMC è emerso insieme a questo.
La società di progettazione ASIC taiwanese GUC ha proposto DoL (DRAM-on-Logic), posizionando da uno a quattro strati di DRAM sopra la logica. Che ciò che va sopra sia LPDDR o una pila DRAM in stile HBM, e se la logica sottostante sia un acceleratore dedicato o la GPU vera e propria, varia da caso a caso, ma la direzione è la stessa in ognuno: la memoria si avvicina costantemente alla logica finché non si siede sopra di essa.
E come notato, la memoria che si siede sopra la logica significa che la memoria diventa un corpo unico con il chip di un cliente specifico.
Alla fine di questa progressione da cHBM a memory-on-logic, il business della memoria si trasforma gradualmente in un business di silicio personalizzato, e ciò che si è sentito ultimamente nella Silicon Valley suggerisce che il cambiamento è già iniziato a livello organizzativo.
Quindi, cosa conta dal punto di vista degli investimenti.
È come questo spostamento verso aziende di memoria che diventano aziende di silicio personalizzato cambi la loro struttura dei ricavi, dove lungo la catena di approvvigionamento si sposta il profitto e cosa monitorare per seguire la progressione. Queste sono le cose su cui concentrarsi. Quanto segue di seguito le copre in dettaglio.
Damnang’s Substack è una pubblicazione supportata dai lettori. Per ricevere nuovi post e supportare il mio lavoro, prendi in considerazione l'idea di diventare un abbonato gratuito o a pagamento.
3. Cosa si sente nella Silicon Valley
C'è un'ulteriore prova che memory-on-logic sia una tendenza reale.
L'articolo completo è disponibile su Substack.
Si prega di fare riferimento al link sottostante.
