Çoğu insan yapay zeka yarışının çiplerle ilgili olduğunu düşünür. En hızlı GPU kimde? En iyi yapay zeka hızlandırıcısı kimde? En büyük veri merkezi kimde? En akıllı model kimde?
Bunların hepsi önemli. Ancak yapay zeka yarışının daha az gösterişli ve belki de bir o kadar önemli olan başka bir boyutu daha var: bellek.
"Anahtarlarımı nereye koyduğumu unuttum" anlamında bir bellekten bahsetmiyoruz. Yapay zeka sistemlerinin düşünmek için ihtiyaç duyduğu verileri depolayan, taşıyan ve ileten fiziksel donanım anlamında bellekten bahsediyoruz. Yapay zeka sadece hesaplama yapmaz. Yapay zeka, inanılmaz hızlarda muazzam miktarda bilgiyi hatırlar, geri getirir, karşılaştırır, taşır ve yeniden kullanır. Bu da belleği tüm yapay zeka ekonomisindeki en önemli darboğazlardan biri haline getirir.
Yapay Zeka Neden Belleğe Bu Kadar Aç
Bir yapay zeka modelinden bir konu hakkında derinlemesine araştırma yapmasını istediğinizi hayal edin. Yanıt vermek için model, bir insanın "düşündüğü" gibi düşünmez. Milyarlarca hatta trilyonlarca depolanmış değer üzerinde çok büyük sayıda matematiksel işlem çalıştırır. Bu değerlere ağırlıklar denir.
Ağırlıklar, modelin öğrenilmiş yapısıdır. Modelin eğitimden sonra "bildiği" şeylerdir. Bir soru sorduğunuzda, yapay zeka sistemi bir yanıt oluşturmak için bu ağırlıklara tekrar tekrar erişmek zorundadır. Model ne kadar büyükse, o kadar çok ağırlığı vardır ve bunları depolamak ve erişmek için o kadar fazla belleğe ihtiyaç duyar.
Ancak bellek sorunu bununla bitmez. Model ayrıca sizin isteminizi (prompt) takip etmek zorundadır. Daha önce oluşturduğu kelimeleri hatırlaması gerekir. Uzun bir belgeyi işlemesi, kodu analiz etmesi, bir PDF'i özetlemesi, birkaç dosyayı karşılaştırması veya uzun bir konuşma boyunca bağlamı koruması gerekebilir. Tüm bu geçici çalışma bilgilerinin bir yerde bulunması gerekir.
Yapay zeka sistemi, bir yanıt oluştururken halihazırda kullandığı bilgileri depolayacak yerlere ihtiyaç duyar. Daha büyük bir model daha fazla bellek gerektirir. Daha uzun bir konuşma daha fazla bellek gerektirir. Aynı anda daha fazla kullanıcı daha fazla bellek gerektirir. Daha fazla görüntü, video, belge ve gerçek zamanlı veri daha fazla bellek gerektirir.
Bu nedenle yapay zeka sadece hesaplama (compute) açısından açgözlü değildir. Yapay zeka bellek açısından da oldukça doymak bilmez.
Yakıt Borusu Küçük Bir Süper Araba
Çip şirketleri yapay zeka performansından bahsettiklerinde, genellikle işlem gücünden bahsederler. Bu genellikle çipin saniyede kaç matematiksel işlem yapabileceği anlamına gelir. Ancak bir püf noktası var: bir çip yalnızca erişebildiği veriler üzerinde hesaplama yapabilir.
Veri, hesaplama motorlarına yeterince hızlı ulaşamazsa, çip boşta kalır. Yapay zeka donanımının acı gerçeği budur. Teorik işlem gücü bir slayt sunumunda harika görünebilir, ancak gerçek dünya performansı, sistemin yeterince veriyi yeterince hızlı taşıyıp taşıyamadığına bağlıdır.
Buna bellek bant genişliği denir. Bant genişliği, saniyede bellek ile işlemci arasında ne kadar verinin hareket edebileceğidir. Bunu bir otoyolun genişliği gibi düşünün. Daha fazla şerit, aynı anda daha fazla arabanın hareket edebileceği anlamına gelir. Daha yüksek bellek bant genişliği, aynı anda yapay zeka çipine daha fazla verinin ulaşabileceği anlamına gelir.
Küçük bir yol trafik yaratır. Dar bir boru su akışını kısıtlar. Küçük bir yakıt borusu süper arabayı sınırlar. Düşük bellek bant genişliği yapay zekayı sınırlar. Bu nedenle bir yapay zeka çipi teoride "hızlı" olabilir ancak pratikte hayal kırıklığı yaratabilir. Matematik motorları hazır olabilir, ancak veri trafikte sıkışıp kalmış olabilir.
Yapay Zekanın Gerçekten Ne Kadar Belleğe İhtiyacı Var?
Günümüzdeki tipik bir büyük yapay zeka modeli kabaca 400 milyar "ağırlığa" (eğitim sırasında öğrendiği şeyler) sahiptir. En yaygın formatta depolandığında, bu model tek başına yaklaşık 800 gigabayt bellek kaplar - kabaca 200 yüksek çözünürlüklü film büyüklüğünde.
Ancak alana ihtiyaç duyan tek şey model değildir. Onunla her sohbet ettiğinizde, sistem ayrıca konuşma geçmişinizi, yüklediğiniz belgeleri ve düşünürken çıkardığı artan bir "not" listesini (anahtar-değer önbelleği olarak adlandırılır) tutmak zorundadır. Yoğun bir günde, tek bir konuşma kolayca 50-200 GB daha fazla alana ihtiyaç duyabilir.
Şimdi bunu aynı anda binlerce veya milyonlarca kullanıcıyla çarpın. Bir anda, bir veri merkezinin konuşmaların sorunsuz akmasını sağlamak için on binlerce gigabayta - yani onlarca terabayta - ihtiyacı olabilir.
İşte bu yüzden sektör HBM'ye takıntılıdır: tek bir modern yapay zeka çipi, 100-200+ GB bu süper hızlı bellek ile eşleştirilebilir. Bir sonraki nesil çipler zaten daha da fazlasına doğru ilerliyor. Yeterli miktarda olmadan, çip boş bir benzin deposuyla Ferrari gibi bekleyip durur.
HBM: Ünlü Bellek
Günümüzde üst düzey yapay zekadaki en önemli bellek HBM veya Yüksek Bant Genişlikli Bellektir (High Bandwidth Memory). HBM, küçük bir gökdelen gibi dikey olarak istiflenmiş bellektir. HBM, bellek yongalarını bir devre kartı üzerinde düz bir şekilde yaymak yerine, bellek katmanlarını üst üste istifler ve bunları GPU'ya veya yapay zeka hızlandırıcısına çok yakın bir yere yerleştirir.
Bu önemlidir çünkü mesafe düşmandır. Verileri bir kart üzerinde taşımak zaman ve enerji gerektirir. Verileri çipin hemen yanında bulunan bellekten taşımak çok daha hızlı ve verimlidir. HBM, yapay zeka hızlandırıcılarına belleğe büyük ve geniş bir bağlantı sağlar. İnce bir yol yerine, doğrudan fabrikaya giden 32 şeritli bir otoban inşa etmek gibidir.
Bu nedenle NVIDIA, AMD, Google, Amazon, Meta, Microsoft, Broadcom ve neredeyse tüm ciddi yapay zeka çipi girişimleri (aşağıda daha fazlası var, TERAFAB dahil) HBM'yi derinden önemser. GPU veya hızlandırıcı manşetlere çıkabilir, ancak HBM, çipin gerçekte ne kadar faydalı iş yapabileceğini belirlemeye yardımcı olur.
HBM'nin üretimi de zordur. Gelişmiş bellek üretimi, dikey istifleme, aşırı hassasiyet, gelişmiş paketleme, ısı yönetimi ve işlemciyle yakın koordinasyon gerektirir. Bu nedenle Micron, SK hynix ve Samsung bu kadar önemli hale geldi. Artık sadece PC'lere emtia belleği satmıyorlar. Yapay zeka altyapısının temel bileşenlerinden birini tedarik ediyorlar.
Eski dünyada, bellek şirketleri genellikle döngüsel emtia işletmeleri olarak görülüyordu. Yapay zeka dünyasında, üst düzey bellek şirketleri daha çok stratejik altyapı tedarikçileri gibi görünüyor.
DRAM: Güvenilir İşgücü
DRAM ("Dinamik Rasgele Erişimli Bellek"), bilgisayarlarda ve sunucularda kullanılan ana bellektir. Çoğu insanın pek düşünmese de aşina olduğu normal çalışma belleğidir. 16 GB, 32 GB veya 64 GB RAM'e sahip bir dizüstü bilgisayar satın aldığınızda, bu genellikle DRAM'dir.
DRAM önemlidir çünkü yoğundur, nispeten uygun maliyetlidir ve yaygın olarak kullanılır. Sunucularda, PC'lerde, veri merkezlerinde ve birçok yapay zeka sisteminde bulunur. CPU'ların verileri yönetmesine, iş yüklerini beslemesine, uygulamaları desteklemesine ve yapay zeka hızlandırıcılarının etrafındaki daha geniş sistemi çalıştırmasına yardımcı olur.
Ancak DRAM'in sınırlamaları vardır. Yonga üstü önbellek kadar hızlı değildir. HBM'nin aşırı bant genişliğine sahip değildir. Ve genellikle ana yapay zeka işlemcisinden daha uzakta bulunduğu için, en zorlu iş yükleri için çipe her zaman yeterince hızlı besleme yapamaz.
DRAM'i fabrikanın arkasındaki büyük depo olarak düşünün. Çok şey depolar ve gereklidir, ancak tam parçanın işçinin elinin altında olması kadar hızlı değildir. Yapay zekanın her ikisine de ihtiyacı vardır. Büyük bellek havuzlarına ve hesaplamaya çok yakın inanılmaz hızlı belleğe ihtiyacı vardır.
SRAM ve Önbellek: Tezgahtaki Bellek
SRAM ("Statik Rasgele Erişimli Bellek") DRAM'den çok daha hızlıdır. Yonga içinde önbellek olarak kullanılır. Önbellek, tezgahta duran küçük bir alet ve parça yığını gibidir. Onları almak için binanın karşısına yürümek zorunda değilsiniz. Zaten yanınızdadırlar.
Bu, önbelleği son derece değerli kılar. Bir yapay zeka çipi önemli verileri yonga üstü önbellekte tutabildiğinde, zamandan ve enerjiden tasarruf sağlar. Çipin HBM'ye veya DRAM'e o kadar sık gitmesi gerekmez. Bu, performansı ve verimliliği artırır.
Ancak bir sorun var. SRAM, yonga üzerinde çok fazla yer kaplar. Silikon alanı açısından pahalıdır. Bir çipe basitçe yüzlerce gigabayt SRAM koyamazsınız. Çip çok büyük ve aşırı pahalı hale gelirdi.
Bu nedenle çip tasarımcıları bir ödünleşimle karşı karşıyadır. Ne kadar alan hesaplamaya gitmeli? Ne kadarı önbelleğe gitmeli? Ne kadarı ara bağlantıya, kontrol mantığına ve diğer özelliklere gitmeli? Bu, yapay zeka çipi tasarımının en ilginç kısımlarından biridir. Mimari sadece mühendislik değildir. Mikroskobik ölçekte sermaye tahsisidir.
Her milimetrekare silikonun bir görevi vardır.
GDDR: Oyun GPU'larının ve Yerel Yapay Zekanın Belleği
GDDR ("Grafik Çift Veri Hızı"), birçok grafik kartında kullanılan bellektir. Bir oyun GPU'nuz veya iş istasyonu GPU'nuz varsa, GDDR kullanma olasılığı yüksektir. GDDR önemlidir çünkü HBM'den daha düşük maliyetle yüksek bant genişliği sunar. En uç yapay zeka iş yükleri için HBM kadar güçlü veya verimli olmasa da, inanılmaz derecede kullanışlıdır.
Bu, insanların evde yapay zeka modelleri çalıştırmasını sağlayan bellektir. Oyun GPU'larını, yaratıcı iş istasyonlarını, küçük yapay zeka sunucularını, hobi kurulumlarını ve yerel model denemelerini destekler. Tüketici sınıfı bir NVIDIA GPU'da görüntü oluşturma modeli çalıştıran biri muhtemelen GDDR'ye güveniyordur. Yerel olarak daha küçük bir dil modeli test eden bir geliştirici GDDR kullanıyor olabilir. Pahalı bulut altyapısına geçmeden önce yapay zeka uygulamalarının prototipini yapan bir girişim GDDR kullanıyor olabilir.
Bu önemlidir çünkü her modelin dev bir hiper ölçekli veri merkezi içinde çalışması gerekmez. Bazı modeller iş istasyonlarında, oyun bilgisayarlarında ve küçük sunucularda yerel olarak çalışabilir.
LPDDR: Yapay Zekayı Cebinize Getiren Bellek
LPDDR ("Düşük Güçlü Çift Veri Hızı"), akıllı telefonlarda, tabletlerde, dizüstü bilgisayarlarda ve birçok mobil cihazda kullanılan düşük güçlü bellektir. Yapay zeka buluttan elinize, arabanıza, gözlüğünüze, saatinize veya robotunuza geçtiğinde önemli olan bellek budur.
LPDDR daha az güç kullanacak şekilde tasarlanmıştır. Bu kritiktir çünkü bir telefon bir veri merkezi gibi davranamaz. Megavat elektrik çekemez. Sıvı soğutmaya güvenemez. Bir jet motoru gibi ses çıkaramaz. Yapay zekanın cihazlarda yerel olarak çalışması için belleğin hızlı, kompakt, güç açısından verimli ve uygun maliyetli olması gerekir.
Bu nedenle LPDDR, uç (edge) yapay zeka için çok önemlidir. Yerel bir dil modeli çalıştıran bir akıllı telefonun, modeli depolamak ve isteğinizi işlemek için yeterli belleğe ihtiyacı vardır. Yerel olarak yapay zeka araçları çalıştıran bir dizüstü bilgisayarın, kullanışlı olacak kadar hızlı ancak pil ömrünü mahvetmeyecek kadar verimli belleğe ihtiyacı vardır. Otonom sürüş yazılımı çalıştıran bir arabanın, ısı, soğuk, titreşim ve zorlu koşullarda güvenli bir şekilde çalışırken gerçek zamanlı sensör verilerini işleyebilen belleğe ihtiyacı vardır.
İnsansı bir robotun da yerel belleğe ihtiyacı vardır. Görüşü, dili, hareketi, dengesi, dokunmayı ve çevresel bağlamı işlemesi gerekir. Bu zekanın bir kısmı buluta bağlanabilir, ancak robot her adım attığında veya bir lambayı devirmekten kaçınması gerektiğinde uzaktaki bir sunucuyu bekleyemez.
LPDDR, HBM'nin gördüğü ilgiyi görmeyebilir, ancak yapay zekanın yerel, kişisel, mobil ve somutlaşmış (embodied) hale gelmesi için çok önemlidir.
NAND Flash: Yapay Zeka Kütüphanesi
NAND ("DEĞİL-VE"nin birleşimi) flash bellek, uzun süreli depolama için kullanılan bellektir. SSD'lerde, telefonlarda, dizüstü bilgisayarlarda, veri merkezlerinde, kameralarda, araçlarda ve birçok gömülü sistemde bulunur. NAND, güç kapalıyken bile verileri tutar.
NAND, DRAM veya HBM'den daha yavaştır, ancak depolama için çok daha ucuz ve yoğundur. Verilerin aktif olarak işlenmediği zamanlarda yaşadığı yerdir. Yapay zekada NAND, eğitim verilerini, model dosyalarını, kontrol noktalarını (checkpoints), günlükleri, videoları, görüntüleri, belgeleri, yerleştirmeleri (embeddings), haritaları ve kullanıcı verilerini depolar.
NAND'ı kütüphane veya depo olarak düşünün. HBM hızlı montaj hattıdır. SRAM önbellek, elinizdeki alettir. DRAM aktif çalışma alanıdır.
Otonom araçlar için NAND, haritaları, sürüş kayıtlarını, algılama verilerini ve yazılım güncellemelerini depolayabilir. Robotlar için çalışma geçmişini, yerel modelleri, bakım kayıtlarını ve çevresel verileri depolayabilir. Veri merkezleri için devasa veri kümelerini ve model kontrol noktalarını depolar.
Depolama çok yavaşsa, pahalı yapay zeka hızlandırıcıları beklemek zorunda kalabilir.
Bu, milyonlarca dolar ödeyip bir cerrah ekibini tutup, aletler odaya getirilmediği için onları bekletmek gibidir.
Tüm yapay zeka sistemi, verileri dev bir boru hattından beslemeye bağlı olduğunda, "yavaş" bellek bile önemlidir.
Yapay Zeka Veri Merkezleri Dev Bellek Makineleridir
Modern bir yapay zeka veri merkezi genellikle dev bir hesaplama makinesi olarak tanımlanır. Bu doğrudur, ancak eksiktir. Aynı zamanda dev bir bellek makinesidir.
Veri merkezinin verileri depolamadan CPU'lara, CPU'lardan GPU'lara, GPU'lardan HBM'ye, bir GPU'dan diğerine, bir sunucudan diğerine ve genellikle bir kümeden diğerine taşıması gerekir. Her hareket zaman, enerji ve para maliyeti getirir.
Bu her şeyi etkiler: sunucu mimarisi, raf tasarımı, ağ oluşturma, soğutma, güç tüketimi ve toplam sahip olma maliyeti. Bellek sistemi kötü tasarlanmışsa, veri merkezi pahalı GPU'ları boşa harcar. GPU'lar yeterli belleğe yeterince hızlı erişemezse, düşük performans gösterir. Bellek çok fazla güç tüketirse, soğutma maliyetleri artar. Bellek kapasitesi çok sınırlıysa, sistem aynı iş yükünü çalıştırmak için daha fazla hızlandırıcıya ihtiyaç duyabilir.
Bu nedenle yapay zeka altyapısı bu kadar sermaye yoğundur. Sadece çip satın almıyorsunuz. Eksiksiz bir endüstriyel sistem satın alıyorsunuz: GPU'lar, HBM, CPU'lar, DRAM, NAND, ağ oluşturma, anahtarlar, güç dağıtımı, soğutma, paketleme, yazılım ve binalar.
Paketleme: Bozulana Kadar Kimsenin Konuşmadığı Kısım
HBM sadece var olduğu için kullanışlı değildir. Fiziksel olarak yapay zeka hızlandırıcısına bağlanması gerekir. İşte burada gelişmiş paketleme devreye girer.
Modern yapay zeka çipleri, tek başına duran tek silikon parçaları değildir. Mantık yongalarını, bellek yığınlarını, ara katmanları (interposers), alt tabakaları (substrates) ve yüksek hızlı bağlantıları bir araya getiren karmaşık paketlerdir. Önemli bir paketleme yaklaşımına 2.5D paketleme denir. Temel fikir, GPU veya hızlandırıcının ve HBM yığınlarının, aralarında son derece hızlı iletişime izin veren özel bir temel katman üzerinde yan yana oturmasıdır.
Belleğin çipi besleyecek kadar yakın ve bağlantılı hale gelmesi bu şekilde sağlanır. TSMC'nin CoWoS paketleme teknolojisi, gelişmiş işlemcileri HBM ile bağlamaya yardımcı olduğu için özellikle önemli hale geldi. Bu paketleme kapasitesi, yapay zeka tedarik zincirinde önemli bir darboğaz haline geldi.
Bu garip ama önemli bir nokta. Dünyanın en iyi yapay zeka çipini tasarlayabilirsiniz. Mantığı üretebilirsiniz. HBM'yi üretebilirsiniz. Ancak bunları ölçekte bir araya getiremezseniz, bitmiş ürünü gönderemezsiniz.
Belleğin Ekonomisi Değişiyor
Onlarca yıldır bellek genellikle döngüsel bir emtia işi olarak görülüyordu. Fiyatlar yükselir, şirketler arzı artırır, fiyatlar düşer ve döngü tekrarlanırdı. Yapay zeka bu hikayeyi değiştirdi.
HBM sıradan bir emtia belleği değildir. Uzmanlaşmıştır, kıttır, üretimi zordur ve dünyadaki en değerli yapay zeka sistemleri için gereklidir. Bu, bellek üreticilerine daha fazla stratejik önem ve çok daha fazla fiyatlandırma gücü verir.
NVIDIA, AMD veya özel bir yapay zeka çipi şirketi yeterli HBM alamazsa, yeterli hızlandırıcı gönderemez. Bulut sağlayıcıları yeterli hızlandırıcı alamazsa, yeterli yapay zeka kapasitesi dağıtamaz. Yapay zeka kapasitesi kısıtlıysa, çıkarım (inference) daha pahalı kalır ve uygulamalar daha yavaş ölçeklenir.
Bellek, yapay zeka büyümesi üzerinde bir regülatör haline gelir. Bu nedenle SK hynix, Samsung ve Micron gibi şirketler çok önemlidir. Sadece yapay zeka dalgasını sürmüyorlar. Dalganın ne kadar büyüyebileceğini tanımlamaya yardımcı oluyorlar.
Ajanik Yapay Zeka: Bellek Çarpanı
Ajanik yapay zeka, gelecekteki bellek talebinin en büyük itici güçlerinden biri haline gelebilir çünkü ajanlar normal sohbet botu oturumları gibi davranmazlar. Bir sohbet botu bir soruyu yanıtlar ve durur. Bir yapay zeka ajanı çalışmaya devam eder. Hedefi hatırlar, konuşmayı izler, araçları çağırır, dosyaları açar, sonuçları kontrol eder, alt görevlere ayrılır, seçenekleri karşılaştırır ve genellikle bir yanıt üretmeden önce birden çok akıl yürütme döngüsü çalıştırır.
Bu, bellek denklemini değiştirir.
Basit bir yapay zeka sorgusu, model, kullanıcı istemi, bağlam penceresi ve çıktı için bellek gerektirebilir. Bir ajanik iş akışı çok daha fazlasına ihtiyaç duyar. Orijinal talimat, önceki adımlar, ara sonuçlar, araç çıktıları, uzun süreli bağlam, paralel alt ajanlar ve kalıcı durum için belleğe ihtiyaç duyabilir. Açıkça söylemek gerekirse: bir sohbet botunun kısa süreli belleğe ihtiyacı vardır; bir ajanın çalışma belleğine, proje belleğine ve açık dosyalarla dolu bir masaya ihtiyacı vardır.
Bu nedenle ajanik yapay zeka, DRAM talebinde bir kademe değişikliği (step-change) yaratabilir. Micron'un anlatı haritasına göre, her bir aktif ajan, tipik bir sohbet botu etkileşiminden 5-10 kat daha fazla bellek gerektirebilir çünkü ajanlar daha uzun bağlam, araç geçmişleri, alt ajan dalları ve harici bilgi entegrasyonu sağlarlar.
Önemli olan nokta, ajanik yapay zekanın sadece sorgu sayısını artırmamasıdır. Kullanıcı başına bellek yoğunluğunu da artırır. Bir sohbet botu kullanan bir insan, bir istem ve bir yanıt üretebilir. Bir ajan kullanan bir insan, düzinelerce veya yüzlerce perde arkası işlemi tetikleyebilir: bunu ara, şunu özetle, elektronik tabloyu kontrol et, bir senaryo çalıştır, çıktıyı karşılaştır, planı revize et ve sonra zamanla izle.
Bu, bellek talebinin birkaç katmanda birleştiği anlamına gelir:
Daha fazla kullanıcı × kullanıcı başına daha fazla ajan × ajan başına daha fazla görev × görev başına daha fazla bellek × daha uzun kalıcılık.
Bu, geleneksel yazılımdan çok farklı bir talep eğrisidir. Eski yazılımda, bir kullanıcı bir uygulamayı açar, bir şey yapar ve kapatırdı. Ajanik yapay zekada, yazılım kullanıcı ayrıldıktan sonra da çalışmaya devam edebilir. Gelen kutularını, takvimleri, kod tabanlarını, finansal modelleri, yasal belgeleri, müşteri hizmetleri biletlerini veya fabrika sistemlerini izleyebilir. Her kalıcı ajan, küçük, sürekli bir hesaplama ve bellek tüketicisi haline gelir.
Bu, Micron için önemlidir çünkü bellek, ajanik yapay zekanın sınırlayıcı kaynaklarından biri haline gelir. Yapay zeka ajanı dönemi yalnızca GPU'ları değil, aynı zamanda bu GPU'ların etrafındaki hızlı belleği, üst düzey sunucu DRAM'ini, daha büyük bellek havuzlarını ve nihayetinde bellek kapasitesini geleneksel sınırların ötesine genişletmek için CXL gibi teknolojileri gerektirir. Yüklenen Micron raporu, yapay zeka ajanlarını bir sonraki aşama talep vektörü olarak özellikle tanımlar çünkü ajanlar uzun süreli bağlamı korur ve harici araçları çağırır, geleneksel sohbet botu etkileşimlerine kıyasla aktif kullanıcı başına bellek talebini katlar.
En kolay benzetme şudur: ChatGPT, akıllı bir çalışana soru sormak gibidir. Ajanik yapay zeka ise o çalışanı bütün gün bir proje üzerinde çalışması için işe almak gibidir. Birincisi kısa süreli bir dikkat patlaması gerektirir. İkincisi ise bellek, dosyalar, bağlam, araçlar ve süreklilik gerektirir.
Bu nedenle ajanik yapay zeka Micron için çok önemli olabilir. Belleği arka plandaki bir bileşenden temel bir ölçekleme kısıtına dönüştürür. Yapay zeka ajanları kurumsal yazılım, müşteri hizmetleri, kodlama, araştırma, finans, sağlık hizmetleri, lojistik ve kişisel üretkenlik için yeni arayüz haline gelirse, bellek talebi doğrusal olarak büyümeyebilir. Süreksiz (discontinuous) bir şekilde büyüyebilir.
Bu dünyada, temel soru artık sadece "Kaç tane GPU inşa edilecek?" değildir.
Daha iyi soru şu hale gelir:
Dünya kaç tane kalıcı yapay zeka çalışanı çalıştıracak ve her birinin düşünmek, hatırlamak, akıl yürütmek ve hareket etmek için ne kadar belleğe ihtiyacı olacak?
Uç Yapay Zeka ve Robotik: Bellek Veri Merkezini Terk Ediyor
Yapay zekanın bir sonraki aşaması sadece daha büyük veri merkezlerindeki daha büyük modeller değildir. Yapay zeka aynı zamanda fiziksel dünyaya da taşınıyor: telefonlar, dizüstü bilgisayarlar, arabalar, robotlar, dronlar, tıbbi cihazlar, endüstriyel makineler, güvenlik kameraları, akıllı gözlükler ve ev cihazları.
Tüm bu sistemler belleğe ihtiyaç duyar, ancak farklı bir bellek dengesine ihtiyaç duyarlar. Bir veri merkezi çok miktarda elektrik ve gelişmiş soğutma kullanabilir. Bir robot kullanamaz. Bir telefon kullanamaz. Bir dron kesinlikle kullanamaz.
Uç yapay zeka, hızlı, güç açısından verimli, kompakt, güvenilir ve uygun maliyetli belleğe ihtiyaç duyar. Bir fabrikada çalışan insansı bir robot düşünün. Kameraları, sensörleri, motorları, denge sistemleri, dil arayüzleri ve görev planlama yazılımı vardır. Çevresini anlaması, ne yaptığını hatırlaması, insanlara yanıt vermesi, engellerden kaçınması ve vücudunu gerçek zamanlı olarak kontrol etmesi gerekir.
Bu, bellek gerektirir. Sadece depolama değil. Sadece bir veritabanı değil. Gerçek çalışma belleği.
Veya otonom bir aracı düşünün. Sürekli çalışan sekiz kamerası, radarı, ultrasonik sensörleri, haritaları, planlama yazılımı ve sinir ağları olabilir. Dünyayı gerçek zamanlı olarak işlemesi gerekir. "Bekle, bellek veriyolu tıkalı" diyemez.
Fiziksel yapay zeka, belleği bir güvenlik sorunu haline getirir. Yapay zeka sohbet botlarından arabalara ve robotlara geçtiğinde, gecikme süresi (latency) önemlidir. Güç önemlidir. Isı önemlidir. Güvenilirlik önemlidir. Yerel bellek önemlidir.
Bu nedenle bellek, Tesla, robotik, otonom sürüş, akıllı telefonlar, dizüstü bilgisayarlar, tıbbi cihazlar ve endüstriyel otomasyon için çok önemlidir. Robotun zekası, yalnızca doğru bilgiye doğru zamanda erişebiliyorsa kullanışlıdır.
Geleceğin Belleği: Umut Vadeden Yeni Teknolojiler
Önemli hale gelebilecek birkaç geleceğin bellek teknolojisi vardır. MRAM, manyetik durumları kullanarak veri depolar. Uçucu olmayan (non-volatile), dayanıklıdır ve potansiyel olarak gömülü sistemlerde, otomotiv çiplerinde, endüstriyel cihazlarda ve uç yapay zekada kullanışlıdır. ReRAM, elektriksel dirençteki değişiklikleri kullanarak veri depolar. Düşük güçlü cihazlar ve muhtemelen bellek içi hesaplama (compute-in-memory) sistemleri için yararlı olabilir.
Faz değiştirme belleği (Phase-change memory), malzemeleri farklı fiziksel durumlar arasında değiştirerek veri depolar. DRAM ve depolama arasında bir köprü olarak araştırılmıştır. Ferroelektrik bellek, elektrik polarizasyonunu koruyan malzemeler kullanır. Gelecekteki düşük güçlü gömülü sistemlerde önemli olabilir. Optik bellek ilginçtir çünkü ışık bazı bağlamlarda verileri çok hızlı ve verimli bir şekilde taşıyabilir, ancak geniş çapta ticarileştirilmesi zor olmaya devam etmektedir.
3D DRAM, yıllar önce NAND flash'ın 3D yapılara geçmesi gibi, yukarı doğru inşa ederek bellek yoğunluğunun artırılmasına yardımcı olabilir. Bellek içi işleme (processing-in-memory) ve bellek içi hesaplama (compute-in-memory) özellikle ilginçtir çünkü temel soruna doğrudan saldırırlar. Verileri bellek ve hesaplama arasında ileri geri taşımak yerine, bazı işlemleri verilerin zaten bulunduğu yere daha yakın bir yerde gerçekleştirmeye çalışırlar.
Bu kulağa açık geliyor. Bakkaliye zaten oradaysa, neden tüm bakkaliyeyi şehrin karşısına taşıyasın ki?
Ancak uygulama zordur. Bellek üretimi ve mantık üretimi farklıdır.
Geleceğin bellek teknolojileri umut verici olsa da, yapay zeka bellek sorunu muhtemelen tek bir mucize teknolojiyle değil, tüm yığın boyunca yapılacak birçok iyileştirmeyle çözülecektir.
Uzayda Yapay Zeka: Bir Sonraki Bellek Sınırı
Uzay tabanlı yapay zeka kulağa fütüristik geliyor, ancak mantık basittir. Yapay zekanın enerjiye, hesaplamaya, soğutmaya, iletişime ve belleğe ihtiyacı vardır. Uzay, sonuçta bu alanların birçoğunda avantajlar sunabilir. Güneş enerjisi yörüngede bol ve kesintisizdir. Isı uzaya yayılabilir. Uydular doğrudan küresel iletişim ağlarına bağlanabilir. Ve SpaceX, uyduları yörüngeye yerleştirme maliyetini hızla düşürüyor.
Bellek daha da önemli hale gelebilir. Uzay tabanlı bir yapay zeka sistemi, sadece sinyalleri aktaran aptal bir uydu olmayacaktır. Verileri yerel olarak işleyebilir, çıkarım yapabilir, iletişimi koordine edebilir, Dünya gözlem verilerini analiz edebilir, otonom robotiği destekleyebilir, yörünge trafiğini yönetebilir ve küresel bir yapay zeka hesaplama katmanının parçası olarak hizmet edebilirdi. Bu, işlemciye yakın yüksek performanslı bellek gerektirir.
Bellek şirketleri için bu, yeni bir talep katmanı oluşturabilir. Yörünge yapay zeka sistemleri; radyasyona dayanıklı bellek, düşük güç tüketimli bellek, yüksek bant genişlikli bellek, kalıcı depolama ve belki de zorlu ortamlar için tasarlanmış özel bellek mimarileri gerektirecektir. Kısıtlamalar, karasal veri merkezlerinden farklıdır. Ağırlık, güç, termal tasarım, güvenilirlik ve radyasyon direnci, tümü önemlidir.
Son bir düşünce... TERAFAB
Elon, projeyi mantık, bellek, paketleme, test ve ilgili yarı iletken süreçlerini tek bir çatı altında toplamak olarak tanımladı.
Terafab, eğer Elon, HBM'nin veya gelişmiş bellek üretiminin bir kısmını içselleştirebilirse, zamanla harici bellek tedarikçileri için uzun vadeli bir rekabet tehdidi haline gelebilir.
Elon, belleğin önemsiz olduğu için Terafab'ı inşa etmiyor. Belleğin, yapay zeka, robotik, otonom araçlar ve uzay tabanlı veri merkezleri üzerinde kısıtlayıcı faktörlerden biri olabileceği için inşa ediyor.
