대부분의 사람들은 AI 경쟁이 칩에 관한 것이라고 생각합니다. 누가 가장 빠른 GPU를 가졌는가? 누가 최고의 AI 가속기를 가졌는가? 누가 가장 큰 데이터 센터를 가졌는가? 누가 가장 똑똑한 모델을 가졌는가?
이 모든 것이 중요합니다. 하지만 AI 경쟁에는 덜 화려하지만 그만큼 중요할 수 있는 또 다른 부분이 있습니다: 바로 메모리입니다.
"열쇠를 어디에 뒀는지 기억이 안 나" 라는 의미의 메모리가 아닙니다. AI 시스템이 생각하는 데 필요한 데이터를 저장하고, 이동시키고, 전달하는 물리적 하드웨어로서의 메모리입니다. AI는 단순히 계산만 하지 않습니다. AI는 엄청난 양의 정보를 엄청난 속도로 기억하고, 검색하고, 비교하고, 이동시키고, 재사용합니다. 이는 메모리를 전체 AI 경제에서 가장 중요한 병목 현상 중 하나로 만듭니다.
AI가 메모리에 이렇게 목마른 이유
AI 모델에게 특정 주제에 대해 심층 조사를 해 달라고 요청한다고 상상해 보세요. 답변을 하기 위해 모델은 사람처럼 "생각"하지 않습니다. 수십억 또는 수조 개의 저장된 값에 대해 엄청난 수의 수학적 연산을 실행합니다. 이러한 값을 가중치(weights)라고 합니다.
가중치는 모델이 학습한 구조입니다. 훈련 후 모델이 "알고 있는" 것입니다. 질문을 하면, AI 시스템은 답변을 생성하기 위해 이러한 가중치에 반복적으로 접근해야 합니다. 모델이 클수록 더 많은 가중치를 가지며, 이를 저장하고 접근하는 데 더 많은 메모리가 필요합니다.
하지만 메모리 문제는 여기서 끝나지 않습니다. 모델은 사용자의 프롬프트도 추적해야 합니다. 이미 생성한 단어를 기억해야 합니다. 긴 문서를 처리하거나, 코드를 분석하거나, PDF를 요약하거나, 여러 파일을 비교하거나, 긴 대화의 맥락을 유지해야 할 수도 있습니다. 이러한 모든 임시 작업 정보는 어딘가에 저장되어야 합니다.
AI 시스템은 답변을 생성하는 동안 현재 사용 중인 정보를 저장할 장소가 필요합니다. 더 큰 모델은 더 많은 메모리가 필요합니다. 더 긴 대화는 더 많은 메모리가 필요합니다. 동시에 더 많은 사용자가 있으면 더 많은 메모리가 필요합니다. 더 많은 이미지, 비디오, 문서, 실시간 데이터는 더 많은 메모리가 필요합니다.
이것이 AI가 단순히 연산(Compute)에만 굶주린 것이 아니라, 메모리에도 굶주린 이유입니다.
작은 연료 라인을 가진 슈퍼카
칩 회사들이 AI 성능에 대해 이야기할 때, 그들은 종종 연산 능력을 언급합니다. 이는 일반적으로 칩이 초당 수행할 수 있는 수학적 연산의 수를 의미합니다. 하지만 한 가지 문제가 있습니다: 칩은 접근할 수 있는 데이터에 대해서만 계산을 수행할 수 있다는 것입니다.
데이터가 연산 엔진에 충분히 빠르게 도달할 수 없다면, 칩은 유휴 상태로 있게 됩니다. 이것이 AI 하드웨어의 고통스러운 현실입니다. 이론적인 연산 능력은 슬라이드 덱(Slide deck)에서는 멋져 보일 수 있지만, 실제 성능은 시스템이 데이터를 충분히 빠르게 이동시킬 수 있는지에 달려 있습니다.
이것이 바로 메모리 대역폭(Memory Bandwidth)입니다. 대역폭은 메모리와 프로세서 사이에서 초당 이동할 수 있는 데이터의 양입니다. 마치 고속도로의 폭과 같습니다. 차선이 많을수록 더 많은 자동차가 동시에 움직일 수 있습니다. 메모리 대역폭이 높을수록 더 많은 데이터가 동시에 AI 칩에 도달할 수 있습니다.
좁은 도로는 교통 체증을 만듭니다. 좁은 파이프는 물의 흐름을 제한합니다. 작은 연료 라인은 슈퍼카의 성능을 제한합니다. 낮은 메모리 대역폭은 AI를 제한합니다. 이것이 AI 칩이 이론적으로는 "빠르지만" 실제로는 실망스러운 이유입니다. 수학 연산 엔진은 준비되어 있을 수 있지만, 데이터는 교통 체증에 갇혀 있을 수 있습니다.
AI가 실제로 필요한 메모리는 얼마나 될까?
오늘날의 일반적인 대규모 AI 모델은 대략 4000억 개의 "가중치"(훈련 중에 학습한 것들)를 가지고 있습니다. 가장 일반적인 형식으로 저장하면, 해당 모델만으로도 약 800 기가바이트의 메모리를 차지합니다. 이는 대략 고화질 영화 200편 정도의 크기입니다.
하지만 모델만이 공간을 필요로 하는 것은 아닙니다. 매번 모델과 채팅할 때마다 시스템은 대화 기록, 업로드한 문서, 그리고 생각하는 동안 생성하는 "노트"(키-값 캐시라고 함) 목록도 보유해야 합니다. 바쁜 날에는 단 한 번의 대화가 쉽게 50~200GB를 더 필요로 할 수 있습니다.
이제 여기에 동시에 수천, 수백만 명의 사용자를 곱해 보세요. 갑자기 하나의 데이터 센터는 대화를 원활하게 유지하기 위해 수만 기가바이트, 즉 수십 테라바이트가 필요할 수 있습니다.
그래서 업계가 HBM(고대역폭 메모리)에 집착하는 이유입니다. 최신 AI 칩 하나에 100~200GB 이상의 이 초고속 메모리를 장착할 수 있습니다. 다음 세대 칩은 이미 더 많은 용량을 향해 나아가고 있습니다. 충분한 메모리가 없으면, 칩은 마치 기름이 없는 페라리처럼 기다리기만 합니다.
HBM: 스타 메모리
오늘날 고급 AI에서 가장 중요한 메모리는 HBM(High Bandwidth Memory, 고대역폭 메모리)입니다. HBM은 작은 마천루처럼 수직으로 쌓인 메모리입니다. 메모리 칩을 회로 기판 위에 평평하게 펼치는 대신, HBM은 메모리 층을 서로 위에 쌓아 GPU 또는 AI 가속기 바로 옆에 배치합니다.
거리가 적이기 때문에 이것이 중요합니다. 기판을 가로질러 데이터를 이동하는 데는 시간과 에너지가 소모됩니다. 칩 바로 옆에 있는 메모리에서 데이터를 이동하는 것이 훨씬 빠르고 효율적입니다. HBM은 AI 가속기에 메모리와의 거대하고 넓은 연결을 제공합니다. 좁은 길 대신, 공장으로 바로 연결되는 32차선 고속도로를 건설하는 것과 같습니다.
이것이 NVIDIA, AMD, Google, Amazon, Meta, Microsoft, Broadcom, 그리고 거의 모든 주요 AI 칩 관련 업체(아래에서 더 자세히 다룰 TERAFAB 포함)가 HBM에 깊이 관심을 가지는 이유입니다. GPU나 가속기가 헤드라인을 장식할 수 있지만, HBM은 칩이 실제로 얼마나 유용한 작업을 수행할 수 있는지를 결정하는 데 도움을 줍니다.
HBM은 또한 만들기 어렵습니다. 고급 메모리 제조 기술, 수직 적층, 극도의 정밀도, 고급 패키징, 열 관리, 그리고 프로세서와의 긴밀한 조정이 필요합니다. 이것이 Micron, SK hynix, Samsung이 그렇게 중요해진 이유입니다. 이제 그들은 PC에 범용 메모리를 판매하는 데 그치지 않습니다. 그들은 AI 구축의 핵심 재료 중 하나를 공급하고 있습니다.
과거에는 메모리 회사들이 주기적인 범용 상품(Commodity) 사업처럼 취급되는 경우가 많았습니다. AI 시대에는 고급 메모리 회사들이 전략적 인프라 공급업체처럼 보입니다.
DRAM: 믿음직한 일꾼
DRAM(Dynamic Random Access Memory)은 컴퓨터와 서버에 사용되는 주 메모리입니다. 대부분의 사람들이 잘 알지 못하더라도 익숙한 일반적인 작업 메모리입니다. 16GB, 32GB 또는 64GB RAM이 장착된 노트북을 구매할 때, 그것은 보통 DRAM입니다.
DRAM은 밀도가 높고 상대적으로 저렴하며 널리 사용되기 때문에 중요합니다. 서버, PC, 데이터 센터 및 많은 AI 시스템에 탑재됩니다. CPU가 데이터를 관리하고, 워크로드를 처리하며, 애플리케이션을 지원하고, AI 가속기 주변의 광범위한 시스템을 운영하는 데 도움을 줍니다.
하지만 DRAM에는 한계가 있습니다. 온칩 캐시(On-chip cache)만큼 빠르지 않습니다. HBM의 극한 대역폭을 가지고 있지 않습니다. 그리고 일반적으로 주 AI 프로세서에서 더 멀리 떨어져 있기 때문에 가장 까다로운 워크로드에 필요한 만큼 빠르게 칩에 데이터를 공급하지 못할 수 있습니다.
DRAM을 공장 뒤편의 큰 창고라고 생각해 보세요. 많은 것을 저장하고 필수적이지만, 작업자의 손 바로 옆에 필요한 부품이 있는 것만큼 빠르지는 않습니다. AI는 둘 다 필요합니다. 대용량 메모리 풀과 함께, 연산 장치 바로 옆에 있는 엄청나게 빠른 메모리가 필요합니다.
SRAM과 캐시: 작업대 위의 메모리
SRAM(Static Random-Access Memory)은 DRAM보다 훨씬 빠릅니다. 칩 내부에서 캐시 메모리로 사용됩니다. 캐시는 작업대 위에 바로 놓여 있는 작은 도구와 부품 더미와 같습니다. 건물 건너편까지 걸어가서 가져올 필요가 없습니다. 이미 바로 옆에 있습니다.
이것이 캐시를 매우 귀중하게 만듭니다. AI 칩이 중요한 데이터를 온칩 캐시에 유지할 수 있다면 시간과 에너지를 절약할 수 있습니다. 칩이 HBM이나 DRAM에 자주 접근할 필요가 없어집니다. 이는 성능과 효율성을 향상시킵니다.
하지만 문제가 있습니다. SRAM은 칩에서 많은 공간을 차지합니다. 실리콘 면적 측면에서 비용이 많이 듭니다. 칩에 수백 기가바이트의 SRAM을 단순히 넣을 수는 없습니다. 칩이 엄청나게 커지고 엄청나게 비싸질 것입니다.
따라서 칩 설계자는 트레이드오프에 직면합니다. 얼마나 많은 면적을 연산에 할당할 것인가? 얼마나 많이 캐시에 할당할 것인가? 얼마나 많이 인터커넥트, 제어 로직 및 기타 기능에 할당할 것인가? 이것이 AI 칩 설계의 가장 흥미로운 부분 중 하나입니다. 아키텍처는 단순한 엔지니어링이 아닙니다. 미시적 규모의 자본 배분입니다.
실리콘의 모든 제곱밀리미터에는 할 일이 있습니다.
GDDR: 게이밍 GPU와 로컬 AI의 메모리
GDDR(Graphics Double Data Rate)은 많은 그래픽 카드에 사용되는 메모리입니다. 게이밍 GPU나 워크스테이션 GPU가 있다면 GDDR을 사용할 가능성이 높습니다. GDDR은 HBM보다 낮은 비용으로 높은 대역폭을 제공하기 때문에 중요합니다. 가장 극한의 AI 워크로드에 필요한 HBM만큼 강력하거나 효율적이지는 않지만, 매우 유용합니다.
이 메모리는 사람들이 집에서 AI 모델을 실행할 수 있게 해줍니다. 게이밍 GPU, 크리에이터 워크스테이션, 소형 AI 서버, 취미용 장비 및 로컬 모델 실험을 지원합니다. 소비자용 NVIDIA GPU에서 이미지 생성 모델을 실행하는 사람은 아마도 GDDR에 의존하고 있을 것입니다. 작은 언어 모델을 로컬에서 테스트하는 개발자는 GDDR을 사용하고 있을 수 있습니다. 값비싼 클라우드 인프라로 이동하기 전에 AI 애플리케이션을 프로토타이핑하는 스타트업은 GDDR을 사용하고 있을 수 있습니다.
모든 모델이 거대한 하이퍼스케일 데이터 센터 내에서 실행되어야 하는 것은 아니기 때문에 이것은 중요합니다. 일부 모델은 워크스테이션, 게이밍 PC 및 소형 서버에서 로컬로 실행될 수 있습니다.
LPDDR: AI를 주머니 속으로 가져오는 메모리
LPDDR(Low-Power Double Data Rate)은 스마트폰, 태블릿, 노트북 및 많은 모바일 장치에 사용되는 저전력 메모리입니다. AI가 클라우드에서 손안, 자동차, 안경, 시계 또는 로봇으로 이동할 때 중요한 메모리입니다.
LPDDR은 전력을 적게 사용하도록 설계되었습니다. 전화기가 데이터 센터처럼 행동할 수 없기 때문에 이것은 중요합니다. 수 메가와트의 전기를 끌어쓸 수 없습니다. 액체 냉각에 의존할 수 없습니다. 제트 엔진처럼 소리를 낼 수 없습니다. AI가 기기에서 로컬로 실행되려면 메모리는 빠르고, 작고, 전력 효율적이며, 저렴해야 합니다.
이것이 엣지 AI에서 LPDDR이 그렇게 중요한 이유입니다. 로컬 언어 모델을 실행하는 스마트폰은 모델을 저장하고 요청을 처리할 수 있는 충분한 메모리가 필요합니다. 로컬에서 AI 도구를 실행하는 노트북은 유용할 만큼 빠르지만 배터리 수명을 망치지 않을 만큼 효율적인 메모리가 필요합니다. 자율 주행 소프트웨어를 실행하는 자동차는 열, 추위, 진동 및 혹독한 환경에서 안전하게 작동하면서 실시간 센서 데이터를 처리할 수 있는 메모리가 필요합니다.
휴머노이드 로봇도 로컬 메모리가 필요합니다. 시각, 언어, 움직임, 균형, 촉각 및 환경 맥락을 처리해야 합니다. 그 지능 중 일부는 클라우드에 연결될 수 있지만, 로봇은 걸음을 옮기거나 램프를 넘어뜨리지 않아야 할 때마다 멀리 떨어진 서버를 기다릴 수 없습니다.
LPDDR은 HBM이 받는 주목을 받지 못할 수 있지만, AI가 로컬화되고, 개인화되고, 모바일화되고, 체화(Embodiment)되려면 매우 중요합니다.
NAND 플래시: AI 도서관
NAND(NOT-AND의 조합) 플래시는 장기 저장에 사용되는 메모리입니다. SSD, 휴대폰, 노트북, 데이터 센터, 카메라, 차량 및 많은 임베디드 시스템에 있습니다. NAND는 전원이 꺼져도 데이터를 유지합니다.
NAND는 DRAM이나 HBM보다 느리지만, 저장 용량 측면에서 훨씬 저렴하고 밀도가 높습니다. 데이터가 활발히 처리되지 않을 때 데이터가 있는 곳입니다. AI에서 NAND는 훈련 데이터, 모델 파일, 체크포인트, 로그, 비디오, 이미지, 문서, 임베딩, 지도 및 사용자 데이터를 저장합니다.
NAND를 도서관이나 창고라고 생각해 보세요. HBM은 빠른 조립 라인입니다. SRAM 캐시는 손에 쥔 도구입니다. DRAM은 활성 작업 공간입니다.
자율 주행 차량의 경우 NAND는 지도, 주행 로그, 인식 데이터 및 소프트웨어 업데이트를 저장할 수 있습니다. 로봇의 경우 작동 이력, 로컬 모델, 유지 보수 로그 및 환경 데이터를 저장할 수 있습니다. 데이터 센터의 경우 방대한 데이터 세트와 모델 체크포인트를 저장합니다.
스토리지가 너무 느리면, 값비싼 AI 가속기가 대기 상태에 빠질 수 있습니다.
마치 수백만 달러를 받는 외과 의사 팀을 고용해 놓고, 아무도 수술 도구를 수술실에 가져오지 않아 기다리게 하는 것과 같습니다.
전체 AI 시스템이 거대한 파이프라인을 통해 데이터를 공급하는 데 의존할 때, "느린" 메모리조차도 중요해집니다.
AI 데이터 센터는 거대한 메모리 기계
현대 AI 데이터 센터는 보통 거대한 연산 기계로 묘사됩니다. 그것은 사실이지만, 불완전한 설명입니다. 데이터 센터는 또한 거대한 메모리 기계입니다.
데이터 센터는 스토리지에서 CPU로, CPU에서 GPU로, GPU에서 HBM으로, GPU 간, 서버 간, 그리고 종종 클러스터 간에 데이터를 이동해야 합니다. 모든 이동은 시간, 에너지 및 비용을 소모합니다.
이것은 서버 아키텍처, 랙 설계, 네트워킹, 냉각, 전력 소비 및 총소유비용(TCO) 등 모든 것에 영향을 미칩니다. 메모리 시스템이 제대로 설계되지 않으면 데이터 센터는 값비싼 GPU를 낭비하게 됩니다. GPU가 충분히 빠르게 충분한 메모리에 접근할 수 없으면 성능이 저하됩니다. 메모리가 너무 많은 전력을 소비하면 냉각 비용이 상승합니다. 메모리 용량이 너무 제한적이면 동일한 워크로드를 실행하기 위해 더 많은 가속기가 필요할 수 있습니다.
이것이 AI 인프라가 그렇게 자본 집약적인 이유입니다. 단순히 칩을 구매하는 것이 아닙니다. GPU, HBM, CPU, DRAM, NAND, 네트워킹, 스위치, 전력 공급, 냉각, 패키징, 소프트웨어 및 건물을 포함한 완전한 산업 시스템을 구매하는 것입니다.
패키징: 고장 나기 전까지는 아무도 이야기하지 않는 부분
HBM은 단순히 존재한다고 해서 유용한 것이 아닙니다. AI 가속기와 물리적으로 연결되어야 합니다. 바로 여기서 고급 패키징(Advanced Packaging)이 필요합니다.
현대 AI 칩은 단순히 혼자 있는 실리콘 조각이 아닙니다. 로직 칩, 메모리 스택, 인터포저(Interposer), 기판 및 고속 연결을 결합한 복잡한 패키지입니다. 중요한 패키징 접근 방식 중 하나는 2.5D 패키징이라고 합니다. 기본 아이디어는 GPU 또는 가속기와 HBM 스택이 특수 베이스 레이어 위에 나란히 위치하여 그들 사이의 매우 빠른 통신을 가능하게 하는 것입니다.
이것이 메모리가 칩을 공급할 수 있을 만큼 충분히 가깝고 연결되는 방식입니다. TSMC의 CoWoS 패키징 기술은 고급 프로세서와 HBM을 연결하는 데 도움을 주기 때문에 특히 중요해졌습니다. 이 패키징 용량은 AI 공급망에서 주요 병목 현상이 되었습니다.
이상하지만 중요한 점입니다. 세상에서 가장 좋은 AI 칩을 설계할 수 있습니다. 로직을 제조할 수 있습니다. HBM을 생산할 수 있습니다. 하지만 그것들을 대규모로 함께 패키징할 수 없다면 완제품을 출하할 수 없습니다.
메모리의 경제학이 변하고 있다
수십 년 동안 메모리는 종종 주기적인 범용 상품 사업으로 여겨졌습니다. 가격이 오르면 기업들이 공급을 늘리고, 가격이 내려가면 그 주기가 반복되었습니다. AI가 그 이야기를 바꾸었습니다.
HBM은 일반적인 범용 메모리가 아닙니다. 그것은 특화되어 있고, 희소하며, 제조하기 어렵고, 세계에서 가장 가치 있는 AI 시스템에 필수적입니다. 이는 메모리 제조업체에게 더 큰 전략적 중요성과 훨씬 더 강력한 가격 결정력을 제공합니다.
NVIDIA, AMD 또는 맞춤형 AI 칩 회사가 충분한 HBM을 확보하지 못하면, 충분한 가속기를 출하할 수 없습니다. 클라우드 제공업체가 충분한 가속기를 확보하지 못하면, 충분한 AI 용량을 배포할 수 없습니다. AI 용량이 제약되면 추론(Inference) 비용은 더 비싸게 유지되고 애플리케이션의 확장 속도는 더 느려집니다.
메모리는 AI 성장의 조속 장치(Governor)가 됩니다. 이것이 SK hynix, Samsung, Micron과 같은 회사들이 그토록 중요한 이유입니다. 그들은 단순히 AI 물결을 타고 있는 것이 아닙니다. 그 물결이 얼마나 커질 수 있는지를 정의하는 데 일조하고 있습니다.
에이전틱 AI: 메모리 승수
에이전틱 AI(Agentic AI)는 미래 메모리 수요의 가장 큰 동인 중 하나가 될 수 있습니다. 에이전트(Agent)는 일반적인 챗봇 세션처럼 행동하지 않기 때문입니다. 챗봇은 질문에 답하고 멈춥니다. AI 에이전트는 계속 작업합니다. 목표를 기억하고, 대화를 추적하며, 도구를 호출하고, 파일을 열고, 결과를 확인하고, 하위 작업으로 분기하고, 옵션을 비교하며, 종종 답변을 생성하기 전에 여러 추론 루프를 실행합니다.
이것이 메모리 방정식을 바꿉니다.
간단한 AI 쿼리에는 모델, 사용자 프롬프트, 컨텍스트 창 및 출력을 위한 메모리가 필요할 수 있습니다. 에이전틱 워크플로우는 훨씬 더 많은 것을 필요로 합니다. 원래 지시, 이전 단계, 중간 결과, 도구 출력, 장기 실행 컨텍스트, 병렬 하위 에이전트 및 지속적인 상태를 위한 메모리가 필요할 수 있습니다. 쉽게 말해: 챗봇은 단기 기억이 필요합니다; 에이전트는 작업 기억, 프로젝트 기억, 그리고 열린 파일들로 덮인 책상이 필요합니다.
이것이 에이전틱 AI가 DRAM 수요에 단계적 변화(Step-change)를 일으킬 수 있는 이유입니다. Micron의 내러티브 맵에 따르면, 각 활성 에이전트는 일반적인 챗봇 상호작용보다 5~10배 더 많은 메모리를 필요로 할 수 있습니다. 에이전트가 더 긴 컨텍스트, 도구 사용 기록, 하위 에이전트 분기 및 외부 지식 통합을 유지하기 때문입니다.
중요한 점은 에이전틱 AI가 단순히 쿼리 수를 증가시키는 것이 아니라는 것입니다. 이는 사용자당 메모리 집약도를 증가시킵니다. 한 사람이 챗봇을 사용하면 하나의 프롬프트와 하나의 응답을 생성할 수 있습니다. 한 사람이 에이전트를 사용하면 수십 또는 수백 번의 백그라운드 작업(이것 검색, 저것 요약, 스프레드시트 확인, 시나리오 실행, 출력 비교, 계획 수정, 그리고 시간 경과에 따른 모니터링)을 촉발할 수 있습니다.
이는 메모리 수요가 여러 계층에 걸쳐 복합적으로 증가함을 의미합니다.
더 많은 사용자 × 사용자당 더 많은 에이전트 × 에이전트당 더 많은 작업 × 작업당 더 많은 메모리 × 더 긴 지속 시간.
이는 기존 소프트웨어와 매우 다른 수요 곡선입니다. 기존 소프트웨어에서는 사용자가 앱을 열고, 무언가를 하고, 닫았습니다. 에이전틱 AI에서는 사용자가 떠난 후에도 소프트웨어가 계속 작동할 수 있습니다. 받은 편지함, 캘린더, 코드베이스, 재무 모델, 법률 문서, 고객 서비스 티켓 또는 공장 시스템을 모니터링할 수 있습니다. 각 지속형 에이전트는 컴퓨팅과 메모리의 소규모 지속적 소비자가 됩니다.
이것은 Micron에게 중요합니다. 메모리가 에이전틱 AI의 제한 자원 중 하나가 되기 때문입니다. AI 에이전트 시대에는 GPU뿐만 아니라, 해당 GPU 주변의 빠른 메모리, 고성능 서버 DRAM, 더 큰 메모리 풀, 그리고 궁극적으로는 기존 한계를 넘어 메모리 용량을 확장하는 CXL과 같은 기술이 필요합니다. 업로드된 Micron 보고서는 AI 에이전트를 다음 단계 수요 동인으로 구체적으로 식별합니다. 에이전트가 장기 실행 컨텍스트를 유지하고 외부 도구를 호출하여 기존 챗봇 상호작용에 비해 활성 사용자당 메모리 수요를 배가시키기 때문입니다.
가장 쉬운 비유는 이렇습니다: ChatGPT는 똑똑한 직원에게 질문하는 것과 같습니다. 에이전틱 AI는 그 직원을 고용하여 하루 종일 프로젝트를 진행하게 하는 것과 같습니다. 전자는 짧은 집중력을 필요로 합니다. 후자는 메모리, 파일, 컨텍스트, 도구 및 연속성을 필요로 합니다.
이것이 에이전틱 AI가 Micron에게 그토록 중요할 수 있는 이유입니다. 메모리를 백그라운드 구성 요소에서 핵심 확장 제약 조건으로 바꿔 놓습니다. AI 에이전트가 엔터프라이즈 소프트웨어, 고객 서비스, 코딩, 연구, 금융, 헬스케어, 물류 및 개인 생산성을 위한 새로운 인터페이스가 된다면, 메모리 수요는 선형적으로 증가하지 않을 수 있습니다. 불연속적으로 증가할 수 있습니다.
그런 세상에서 핵심 질문은 더 이상 단순히 "얼마나 많은 GPU가 구축될 것인가?"가 아닙니다.
더 나은 질문은 이렇게 됩니다:
세상은 얼마나 많은 지속형 AI 작업자를 운영하게 될 것이며, 각 작업자가 생각하고, 기억하고, 추론하고, 행동하는 데 얼마나 많은 메모리가 필요할까요?
엣지 AI와 로보틱스: 메모리가 데이터 센터를 떠나다
AI의 다음 단계는 더 큰 데이터 센터의 더 큰 모델만을 의미하지 않습니다. AI는 또한 물리적 세계로 이동하고 있습니다: 휴대폰, 노트북, 자동차, 로봇, 드론, 의료 기기, 산업 기계, 보안 카메라, 스마트 안경 및 가정용 기기.
이 모든 시스템에는 메모리가 필요하지만, 다른 종류의 메모리 균형이 필요합니다. 데이터 센터는 엄청난 양의 전기와 고급 냉각을 사용할 수 있습니다. 로봇은 그럴 수 없습니다. 휴대폰은 그럴 수 없습니다. 드론은 절대 그럴 수 없습니다.
엣지 AI에는 빠르고, 전력 효율적이며, 작고, 신뢰할 수 있고, 저렴한 메모리가 필요합니다. 공장에서 일하는 휴머노이드 로봇을 생각해 보세요. 카메라, 센서, 모터, 균형 시스템, 언어 인터페이스 및 작업 계획 소프트웨어가 있습니다. 주변 환경을 이해하고, 자신이 무엇을 하고 있는지 기억하며, 인간에게 반응하고, 장애물을 피하며, 실시간으로 자신의 몸을 제어해야 합니다.
그러려면 메모리가 필요합니다. 단순한 저장 장치나 데이터베이스가 아닙니다. 실제 작업 메모리입니다.
또는 자율 주행 차량을 생각해 보세요. 8개의 카메라, 레이더, 초음파 센서, 지도, 계획 소프트웨어 및 지속적으로 실행되는 신경망을 가질 수 있습니다. 실시간으로 세상을 처리해야 합니다. "잠깐만, 메모리 버스가 혼잡해"라고 말할 수 없습니다.
물리적 AI(Physical AI)는 메모리를 안전 문제로 만듭니다. AI가 챗봇에서 자동차와 로봇으로 이동할 때, 지연 시간(Latency)이 중요합니다. 전력이 중요합니다. 열이 중요합니다. 신뢰성이 중요합니다. 로컬 메모리가 중요합니다.
이것이 메모리가 Tesla, 로보틱스, 자율 주행, 스마트폰, 노트북, 의료 기기 및 산업 자동화의 핵심인 이유입니다. 로봇의 지능은 올바른 정보를 올바른 시간에 접근할 수 있을 때만 유용합니다.
미래 메모리: 유망한 신기술
중요해질 수 있는 몇 가지 미래 메모리 기술이 있습니다. MRAM은 자기 상태를 사용하여 데이터를 저장합니다. 비휘발성이고 내구성이 뛰어나며 임베디드 시스템, 자동차 칩, 산업용 기기 및 엣지 AI에서 잠재적으로 유용합니다. ReRAM은 전기 저항의 변화를 사용하여 데이터를 저장합니다. 저전력 기기 및 잠재적으로 메모리 내 연산(Compute-in-memory) 시스템에 유용할 수 있습니다.
상변화 메모리(Phase-change memory)는 서로 다른 물리적 상태 사이에서 재료를 변화시켜 데이터를 저장합니다. DRAM과 스토리지 사이의 다리 역할로 탐구되어 왔습니다. 강유전체 메모리(Ferroelectric memory)는 전기 분극을 유지하는 재료를 사용합니다. 미래의 저전력 임베디드 시스템에서 중요해질 수 있습니다. 광 메모리(Optical memory)는 일부 상황에서 빛이 데이터를 매우 빠르고 효율적으로 이동시킬 수 있기 때문에 흥미롭지만, 상업적으로 널리 보급되기에는 여전히 어려움이 있습니다.
3D DRAM은 수년 전 NAND 플래시가 3D 구조로 전환된 것처럼 위로 쌓아 올려 메모리 밀도를 확장하는 데 도움이 될 수 있습니다. 프로세싱-인-메모리(Processing-in-memory)와 컴퓨트-인-메모리(Compute-in-memory)는 핵심 문제를 직접 공격하기 때문에 특히 흥미롭습니다. 메모리와 연산 장치 사이에서 데이터를 앞뒤로 이동시키는 대신, 데이터가 이미 있는 곳에 더 가깝게 일부 연산을 수행하려고 시도합니다.
당연해 보입니다. 식료품이 이미 있는 곳에서 저녁을 요리할 수 있는데, 왜 식료품을 시내 반대편까지 운반해야 할까요?
하지만 구현은 어렵습니다. 메모리 제조와 로직 제조는 다릅니다.
미래 메모리 기술은 유망하지만, AI 메모리 문제는 아마도 하나의 기적적인 기술이 아니라 전체 스택에 걸친 많은 개선을 통해 해결될 것입니다.
우주 속의 AI: 다음 메모리 프론티어
우주 기반 AI는 미래지향적으로 들리지만, 그 논리는 간단합니다. AI는 에너지, 컴퓨팅, 냉각, 통신 및 메모리가 필요합니다. 우주는 결국 이러한 영역 중 여러 가지에서 이점을 제공할 수 있습니다. 궤도에서는 태양 에너지가 풍부하고 중단되지 않습니다. 열은 우주로 방사될 수 있습니다. 위성은 글로벌 통신 네트워크에 직접 연결될 수 있습니다. 그리고 SpaceX는 위성을 궤도에 올리는 비용을 빠르게 낮추고 있습니다.
메모리는 더욱 중요해질 수 있습니다. 우주 기반 AI 시스템은 단순히 신호를 중계하는 둔한 위성이 아닐 것입니다. 데이터를 로컬에서 처리하고, 추론을 실행하며, 통신을 조정하고, 지구 관측 데이터를 분석하고, 자율 로보틱스를 지원하고, 궤도 교통을 관리하고, 글로벌 AI 컴퓨팅 계층의 일부로 기능할 수 있습니다. 이를 위해서는 프로세서 바로 옆에 고성능 메모리가 필요합니다.
메모리 업체들에게는 새로운 수요층이 생길 수 있습니다. 궤도 AI 시스템에는 방사선 내성 메모리, 저전력 메모리, 고대역폭 메모리, 비휘발성 스토리지, 그리고 열악한 환경에 특화된 메모리 아키텍처가 필요할 것입니다. 지상 데이터 센터와는 다른 제약 조건이 따릅니다. 무게, 전력, 열 설계, 신뢰성 및 방사선 내성이 모두 중요합니다.
마지막 생각... TERAFAB
엘론은 이 프로젝트를 로직, 메모리, 패키징, 테스트 및 관련 반도체 공정을 한곳에 모으는 것이라고 설명했습니다.
테라팹은 엘론이 HBM이나 고급 메모리 생산의 일부를 내재화할 수 있다면, 장기적으로 외부 메모리 공급업체에 대한 경쟁 위협이 될 수 있습니다.
엘론이 테라팹을 만드는 것은 메모리가 중요하지 않기 때문이 아닙니다. AI, 로보틱스, 자율 주행 차량, 우주 기반 데이터 센터의 제약 조건 중 하나가 메모리일 수 있기 때문입니다.
