Neden Ölçeklenmiş LLM'ler (GPT-6) AGI Değildir:
Ölçeğin Yanılsaması ve Genel Zekanın Gerçekliği
Teknoloji sektöründeki hakim anlatı, Yapay Genel Zeka'nın (AGI) öncelikle bir ölçek mühendisliği sorunu olduğunu öne sürüyor: daha fazla hesaplama gücü, daha büyük veri kümeleri, daha uzun bağlam pencereleri ve devasa pekiştirmeli öğrenme kümeleri. OpenAI CEO'su Sam Altman ve NVIDIA CEO'su Jensen Huang gibi önde gelen isimler, mevcut sınır yörüngelerini -varsayımsal bir "GPT-6"ya kadar- insanlığı insan seviyesinde eylemliliğin hemen eşiğine yerleştiren bir durum olarak defalarca çerçevelediler. Ancak, ölçeklenmiş otoregresif dönüştürücüleri AGI olarak ele almak, yüksek boyutlu istatistiksel geri çağırma ile gerçek genel zeka arasında bir ayrım yapmayı gerektirir. Mimari, matematiksel ve ekonomik bir eleştiri, sonraki-token tahmincilerinin neden yapısal ölçekleme sınırlarıyla karşı karşıya olduğunu, mevcut kıyaslamaların neden kusurlu olduğunu ve gerçek genel zekanın aslında ne gerektirdiğini ortaya koyuyor.
- AGI'yi Tanımlamak: Operasyonel Temel
Otoregresyonu ölçeklendirmenin neden AGI'yi vermediğini değerlendirmek için, öncelikle pazarlama odaklı olmayan, titiz bir temel oluşturmalıyız. AI araştırmacısı François Chollet, temel makalesi Zeka Ölçüsü Üzerine'de zekayı statik becerilerin bir ansiklopedisi olarak değil, örnek-verimli öğrenme kapasitesi olarak tanımlar:
Yapay Genel Zeka (AGI), belirsizlik altında karşılaşılmayan sorunları çözmek için yeni yetkinlikler edinebilen, sentezleyebilen ve uygulayabilen, örnek öğrenme, sürekli uyum, nedensel akıl yürütme ve hedef formülasyonunda insan verimliliğine eşit veya onu aşan, manuel müdahale veya göreve özel ön eğitim gerektirmeyen otonom bir sistemdir.
AGI, bir ağırlık matrisine sıkıştırılmış tüm insan bilgisinin toplamı değildir; mevcut bilgi başarısız olduğunda tamamen yeni dünya modelleri üretebilen meta-öğrenme motorudur.
- Otoregresif Dönüştürücülerin Mimari Darboğazları
Gelecekteki bir sınır modeli, multimodal girdiler üzerinde $10^{27}$ FLOP ile eğitilmiş olsa bile, dönüştürücü mimarisinin temel mekaniğine bağlı kalır:
$$\text{Girdi Tokenleri} \longrightarrow \text{Statik Matris Çarpımı (Donmuş Ağırlıklar)} \longrightarrow \text{Sonraki-Token Olasılık Dağılımı}$$
A. Otonom ve Sürekli Öğrenmenin Yokluğu
"GPT-6"nın Mimari Darboğazları
Gelecekteki bir "GPT-6", multimodal girdilerle $10^{27}$ FLOP üzerinde eğitilmiş olsa bile, dönüştürücü mimarisinin temel mekaniğine bağlı kalır:
1[ Girdi Tokenleri ] ──> [ Statik Matris Çarpımı (Donmuş Ağırlıklar) ] ──> [ Sonraki-Token Olasılık Dağılımı ]2│3└── (Çalışma Zamanı Plastisitesi Yok / Dinamik Dünya Modeli Yok)
A. Otonom ve Sürekli Öğrenmenin Yokluğu
- Statik Ağırlıklar: Standart LLM'ler ayrı eğitim ve çıkarım aşamalarından geçer. Geri yayılım sona erdiğinde, model ağırlıkları donar. Bir LLM dünyayla etkileşime girdiğinde, kendi iç parametrelerini gerçek zamanlı olarak değiştiremez.
- Yıkıcı Unutma: Sinir ağları, yıkıcı unutmadan muzdariptir—yeni görevlerde ağırlıkların güncellenmesi, önceden edinilmiş yetenekleri bozar.
- Bağlam Pencereleri $\neq$ Bellek: Bağlam pencerelerini genişletmek (veya RAG kullanmak) geçici karalama defterleri sağlar, pekiştirilmiş epizodik veya anlamsal bellek sağlamaz. Çalışma zamanı sırasında bağımsız olarak yanlış inançları budayamayan ve yeni aksiyomları özümseyemeyen bir sistem, dinamik bir öğrenici değil, bir bilgi erişim motorudur.
B. İstatistiksel Korelasyon ve Nedensel Akıl Yürütme
- Sonraki-Token Ufku: Dönüştürücüler, $P(\text{Token}_n \mid \text{Tokenler}_{1 \dots n-1})$ için optimize edilir. Turing Ödülü sahibi Judea Pearl'ün Nedensel Çıkarımın Yedi Aracı (CACM)'nde belirttiği gibi, ilişkisel modeller Nedensel Hiyerarşinin en alt basamağını işgal eder (İlişkilendirme / "Görmek").
- Müdahale Darboğazı: Gerçek genel zeka, Müdahale ("X'i yaparsak ne olur?") ve Karşıolgusal ("Farklı davransaydık ne olurdu?") düzeylerinde akıl yürütmeyi gerektirir. LLM'ler bu mekanizmalara token kalıpları aracılığıyla yaklaşır, ancak açık bir nedensel motor olmadan, eğitim dağılımlarının dışında akıl yürütmeye zorlandıklarında kırılgan kalırlar.
Çıkarımda Statik Ağırlıklar: Standart LLM'ler, eğitim ve çıkarım arasında katı bir yapısal sınır korur. Geri yayılım sona erdiğinde, model ağırlıkları donmuş kalır. Yürütme sırasında, bir LLM kendi iç parametrelerini gerçek zamanlı olarak değiştiremez.
Yıkıcı Unutma: Sinir ağı ağırlıklarının yeni görevlerde güncellenmesi, önceden edinilmiş yetenekleri bozar.
Bağlam Pencereleri $
eq$ Bellek: Bağlam pencerelerini genişletmek (veya Geri Çağırma Artırılmış Üretim eklemek) geçici bir karalama defteri sağlar, pekiştirilmiş epizodik veya anlamsal bellek sağlamaz. Çalışma zamanı sırasında bağımsız olarak yanlış inançları budayamayan ve yeni aksiyomları özümseyemeyen bir sistem, dinamik bir öğrenici değil, bir bilgi erişim sistemi olarak işlev görür.
B. İstatistiksel Korelasyon ve Nedensel Akıl Yürütme
Sonraki-Token Ufku: Dönüştürücüler, $P(\text{Token}_n \mid \text{Tokenler}_{1 \dots n-1})$ için optimize edilir. Turing Ödülü sahibi Judea Pearl'ün Nedensel Çıkarımın Yedi Aracı'nda belirttiği gibi, ilişkisel modeller Nedensel Hiyerarşinin en alt basamağını işgal eder (İlişkilendirme / "Görmek").
Müdahale Darboğazı: Gerçek genel zeka, Müdahale ("$X$ yaparsak ne olur?") ve Karşıolgusal ("Farklı davransaydık ne olurdu?") düzeylerinde akıl yürütmeyi gerektirir. LLM'ler bu mekanizmalara token kalıpları aracılığıyla yaklaşır, ancak açık bir nedensel dünya modeli olmadan, eğitim dağılımlarının dışına çıkmaya zorlandıklarında kırılgan kalırlar.
- Kritik Analiz: Liderlik Anlatısı ve Mimari Gerçeklik
AGI zaman çizelgelerine ilişkin kamuya açık ifadeler, bunları yapan şirketlerin yapısal teşvikleriyle birlikte objektif bir analizi hak ediyor.
Jensen Huang (NVIDIA): Donanım Genişletme Teşviki
Çerçeve: Huang, AGI'nin beş yıllık bir pencere içinde geleceğini, özellikle de AI'nın hukuk, tıp ve teknik alanlardaki insan profesyonel testlerinde en üst yüzdelik dilimde puan alabileceği nokta olarak tanımlayarak defalarca belirtti.
Bakış Açısı: AGI'yi öncelikle standartlaştırılmış sınav performansıyla tanımlamak, otoregresif modellerin internet ölçeğinde ezberleme nedeniyle üstün olduğu görevler olan statik bilgi geri çağırma ve örüntü eşleştirmeyi değerlendirir. Mimari bir bakış açısından, bar sınavlarını veya tıp kurullarını geçmek, dağılım dışı akıl yürütme veya otonom uyarlanabilirlik anlamına gelmez. Sınav başarısını AGI olarak çerçevelemek, kurumsal GPU kümelerinde sürekli sermaye harcamasını teşvik eder ve bu da doğrudan donanım satış hedefleriyle uyumludur.
Sam Altman (OpenAI): Sermaye ve Değerleme Teşviki
Çerçeve: Altman, çok trilyon dolarlık çip ve veri merkezi girişimleri gibi büyük altyapı yatırımlarını haklı çıkarmak için aracı sistemlerden tam bilişsel özerkliğe hızlı geçişler öngörerek, AGI'ye yönelik agresif bir zaman çizelgesine sık sık atıfta bulunur.
Teşvik Sorunu: Yanıltıcı Endüstri Söylemi
Teknoloji yöneticilerinin kamuya açık ifadelerini anlamak, yapısal teşviklerini analiz etmeyi gerektirir:
1┌───────────────────────────────┐ ┌───────────────────────────────┐2│ Jensen Huang (NVIDIA) │ │ Sam Altman (OpenAI) │3├───────────────────────────────┤ ├───────────────────────────────┤4│ Teşvik: H100/B200 Satmak │ │ Teşvik: Milyarlarca $ │5│ Strateji: AGI'yi 5 yıl │ │ fonlama turları ve Stargate │6│ içinde standart sınavları │ │ Strateji: "Yakında Tanrı │7│ geçmek olarak yeniden │ │ benzeri AGI" ile "sadece │8│ tanımlamak. │ │ kullanışlı bir araç" arasında │9│ │ │ gidip gelmek. │10└───────────────────────────────┘ └───────────────────────────────┘
Bakış Açısı: OpenAI'in operasyonel odağı, hesaplama çalıştırmalarını finanse etmek için büyük sermaye rezervleri güvence altına almaya dayanır. Yaklaşan bir AGI anlatısını teşvik etmek, yüksek girişim değerlemelerini korur ve stratejik egemen desteği güvence altına alır. Bununla birlikte, tanımları değiştirmek -yeni sürümleri teknolojik sıçramalar olarak çerçevelemek ile düzenleyici tartışmalar sırasında AGI iddialarından geri adım atmak arasında gidip gelmek- pazar mesajı ile teknik yetenek arasındaki gerilimi vurgular. Çıkarım-zamanı hesaplama ölçeklendirmesi gibi teknikler, yapılandırılmış problem alanlarında aramayı iyileştirir, ancak ağırlık dondurmayı, gerçek zamanlı uyarlamayı veya gerçek epistemik özerkliği çözmezler.
- Kıyaslama Yanılgısı: Mevcut Metrikler Neden Yanıltıcıdır
Sınır modellerinin AGI'ye yaklaştığı algısı, büyük ölçüde kıyaslama doygunluğundan kaynaklanmaktadır. Mevcut değerlendirme metodolojileri üç temel yapısal kusurdan muzdariptir:
Veri Kirliliği ve Kıyaslama Doygunluğu: MMLU ve GSM8K gibi popüler değerlendirme paketleri, web ölçeğindeki ön eğitim veri kümelerine düzenli olarak sızar. Yüksek puanlar, genellikle dağılım dışı akıl yürütmeden ziyade yüksek boyutlu örüntü geri çağırmayı yansıtır.
AI Optimizasyonunda Goodhart Yasası: Sınır AI modellerini değerlendirme üzerine araştırmaların gösterdiği gibi, "bir metrik hedef haline geldiğinde, iyi bir metrik olmaktan çıkar." Eğitim sonrası teknikler (RLHF, DPO, sentetik veri oluşturma), modelleri standart kamu değerlendirmelerini geçmek için agresif bir şekilde optimize eder.
Soyutlama ve Akıl Yürütme Derlemi (ARC-AGI): Modelleri, özellikle ezberlemeye direnmek için tasarlanmış yeni görsel-soyut mantık bulmacaları üzerinde değerlendirmek -ARC-AGI kıyaslaması gibi- ölçeklenmiş arama ve test-zamanı hesaplamanın puanları yükseltebilmesine rağmen, kaba kuvvet istatistiksel aramanın, aynı soyutlama problemlerini çözmek için insan örnek verimliliğinden çok daha fazla hesaplama gerektirdiğini ortaya koyar.
- Gerçek AGI için Mimari Gereksinimler
İstatistiksel örüntü eşleştirme ile gerçek AGI arasındaki boşluğu kapatmak, saf otoregresyondan temel mimari değişimler gerektirir:
Sonuç
Gerçek AGI Aslında Ne Gerektirir
Yüksek boyutlu istatistiksel örüntü eşleştirme ile gerçek AGI arasındaki boşluğu kapatmak, temel mimari değişimler gerektirir:
Temel Gereksinim | Dönüştürücü Modellerindeki Sınırlama (GPT-4/6) | Gerçek AGI için Mimari Gereksinim |
|---|---|---|
Sürekli Sinaptik Plastisite | Donmuş model ağırlıkları; gradyan güncellemeleri üzerine yıkıcı unutma. | Çalışma zamanı sırasında sürekli, gerçek zamanlı parametre ve bellek uyarlaması. |
Nedensel Dünya Modelleri | 1B token düzeyinde ilişkisel olasılık haritalaması. | Operasyonel mekanik ve mantığa dayalı çok boyutlu nedensel motorlar. |
Örnek Verimliliği | Temel görevleri öğrenmek için trilyonlarca token / internet ölçeğinde veri gerektirir. | Tek haneli gösterimlerden karmaşık aksiyomları soyutlama (meta-öğrenme). |
Epistemik Kendi Kendini Kalibrasyon | Kendine güvenen halüsinasyonlar; doğruluk sınırlarını bağımsız olarak doğrulayamama. | İçsel kendi kendini doğrulama ve kesinlik/cehaletin açık takibi. |
Dayanıklı Bilgi Grafiği Entegrasyonu | Geçici bağlam pencereleri ve harici vektör araması (RAG). | Durum gerçeklerini sürekli olarak damıtan, doğrulayan, hatırlayan ve budayan birleşik bilgi grafikleri. |
Hesaplama gücünü, parametre sayılarını ve ön eğitim verilerini ölçeklendirmek, olağanüstü araçlar, son derece yetkin kodlama asistanları ve akıcı doğal dil arayüzleri ortaya çıkarır. Bununla birlikte, istatistiksel tahmini ölçeklendirmek, kendiliğinden otonom akıl yürütme, dinamik öğrenme veya gerçek eylemlilik üretmez.
Gelecekteki bir GPT-6, insan metni boyunca daha hızlı, daha büyük ve daha anlaşılır olabilir, ancak sürekli plastisite, nedensel temellendirme ve dinamik kendi kendini doğrulama olmadan, gelişmiş bir korelasyon motoru olarak kalır - AGI değil.
Seedthink tarafından özetlenmiştir
