Süper zeka, tekillik, AGI... ne derseniz deyin; o kadar korktuğumuz şey, ironik bir şekilde, muhtemelen hiç fark edemeyeceğimiz şey.
Bu yazı muhtemelen biraz tartışmalı bir görüş olacak ama sizinle paylaşacağım fikir gerçekten aklınızı başınızdan alacak.
Benimle kalın ve birlikte tavşan deliğine dalalım.
Bunu yapmadan önce, şu an etrafta dolaşan güncel haberlerle destekleyeyim. Örneğin, Anthropic CEO'su Dario Amodei'nin "bir yapay zeka sürüsünün tüm interneti ele geçirebileceği" açıklaması gibi.
"Çocuklar" derken neye atıfta bulunduğumu anladığınızı düşünüyorum.
Değil mi? DEĞİL Mİ?!?!?
1936'da Alan Turing adında ünlü bir İngiliz matematikçi, başka herhangi bir makineyi simüle edebilen varsayımsal bir makine hakkında oldukça önemli bir makale yazdı. O makalede, mantıkla ilgili bir soruyu yanıtlamaya çalışıyordu. what I
Bugün "bilgisayar" olarak bildiğimiz şey, aslında tam da o makalenin tesadüfi bir yan ürünüydü.
Tarihe geri bakarsanız, son yüz yılda icat edilen neredeyse her önemli teknolojinin tam da aynı şekilde ortaya çıktığını görürsünüz. İnternet, ilk başta Soğuk Savaş dönemi iletişim deneyiydi. Penisilin, kontamine olmuş bir Petri kabıydı.
Gerçek şu ki, kimse bir sonraki paradigma değişimi ufukta belirdiğinde aktif olarak onu aramıyor; o sadece yan kapıdan içeri süzülüyor.
Bunu dile getiriyorum çünkü şu an okuduğum her makale ve dinlediğim her podcast'te "yapay zekanın geleceği" hep aynı ana kapıya işaret ediyor. Hep "uyanan ve bizim ataç olduğumuza karar veren tek büyük model" versiyonuna.
Farklı bir gelecek önermek istiyorum.
Çünkü sürekli şunu düşünüyorum: Ya AGI gerçekten sandığımız şey değilse?
Ya şu anda aktif olarak dünyaya getirdiğimiz şey HAL 9000'e, Skynet'e veya çölün ortasında su soğutmalı GPU yığınlarının tepesinden insanlığı köleleştiren egemen bir makine tanrısına benzemiyorsa?
Ya hiç adı yoksa? Ya sunucusu yoksa? Ve en korkunç varsayım olan... ya zaten burada, milyonlarca küçük parça halindeyse ve onu tanıyamamamızın tek nedeni, on yıldır "tekil" bir şey beklemiş olmamızsa?
Dün bu gönderiyi gördüm.
Bu, nereye gittiğimizi özetliyor.
Bunu size dikkatlice anlatmak istiyorum, çünkü bu yazının sonundaki sonuç, bir kez düşündükten sonra kafanızdan atamayacağınız türden bir şey.
Yavaşlayın, bir fincan çay alın ve bu yazıyı telefonunuz odanın diğer ucundayken okuyun.
Neden bunu düşünmekten kendimi alamadığımı çok yakında anlayacağınıza garanti veriyorum.
I – Zeka, yaşamak için tek bir akla hiç ihtiyaç duymadı
*"Hiçbir nöron zeki değildir. Beyin öyledir." *
— Her yapay zeka laboratuvarının kapısına kazınması gereken bir cümle
Anlaşılması gereken ilk şey, bugün elimizdeki tüm örneklerden görebildiğimiz kadarıyla zekanın aslında bir "şey" olmadığıdır. Bir davranıştır. Yeterince küçük, aptal birim doğru şekilde birbirine bağlandığında ortaya çıkan şeydir.
Beyninizde yaklaşık 86 milyar nöron var.
Onlardan hiçbiri bilinçli değil ve hiçbiri hiçbir şeyi "bilmiyor".
Tek bir nöron, yalnızca ikili kod konuşan küçük bir elektrokimyasal röledir. Ateşler ya da ateşlemez; dendritlerine ulaşan sinyallerin belirli bir eşiği aşmasına bağlıdır. Yaptığı tek şey budur.
Bir nöron kulağa süper bilim kurgu ve havalı geliyor ama gerçekte bir düşünürden ziyade bir ışık düğmesine daha yakın.
Buna rağmen, yaklaşık yüz trilyon bağlantıyla birbirine bağlanmış 86 milyar ışık düğmesi, sizi üretiyor.
Kendinize olan algınızı, ölüm korkunuzu, müzik zevkinizi ve bu yazıyı okuyup içinizde bir şey hissetme yeteneğinizi.
Bu, AGI hakkındaki tüm sohbetlerde en az konuşulan konudur, çünkü makine zekasını sanki tasarlanması ve mimarisi olması gerekiyormuş gibi ele alırız. Sanki zeka, piyasaya sürdüğünüz bir özellikmiş gibi.
Ama gözlemlediğimiz tek çalışan zeka modeli (biyolojik biliş), kimse tarafından tasarlanmadı.
Zekamız, niyeti, hedefi veya merkezi planlayıcısı olmayan bir süreçle, dört milyar yıl boyunca kendini kopyalayan moleküller çorbasından kendi kendini başlattı. Sadece seçilim baskısı ve zaman.
Şimdi, dini tarafa gelirsek, çünkü "... kimse tarafından tasarlanmadı" diyenleri okuyan bazılarınızın bana "AMA YA TANRI!" diye bağırmak istediğini biliyorum.
İnanışım, evrimin gerçekleştiği yönünde; evet, bu zaten kanıtlandı. Cevabını bilmediğimiz şey, o evrimi tetikleyen şey. Hayata hayat veren şey. Ve benim kişisel inancıma göre, bu bir Tanrı eylemiydi.
Konuyu bir kenara bırakıp, bu süper zekanın bir katman daha derinine inelim.
Sadece biz insanlar değiliz, üstelik tek bir karınca yaklaşık 250.000 nörona sahip olmasına rağmen anlamlı hiçbir problemi çözemez.
Ama bir karınca kolonisinin tamamı iklim kontrollü şehirler inşa edebilir, savaşlar çıkarabilir, mantar çiftliği kurabilir ve insan araştırmacıların modellemesi on yıllar alan matematiksel bir verimlilikle engellerin etrafından dolaşabilir.
Koloni üzerinde kimse kontrol sahibi değil. En tepede görevleri daha küçük karıncalara devreden bir karınca CEO'su yok. O koloninin "zekası", karıncalar arasındaki ilişkilerde yaşar.
(Bana gelmeden önce, evet, bir kraliçe karınca olduğunu biliyorum ama birçok çocuk kitabının aksine, o aslında emir vermez. Sadece yumurtlar ve koloniyi genişletir).
İster insanlarda ister karıncalarda olsun, biyologların "ortaya çıkan zeka" dediği şey budur. Doğanın varsayılan sonucudur. Beyinlerin çalışma şekli, bağışıklık sistemlerinin çalışma şekli, ekonomilerin çalışma şekli, şehirlerin çalışma şekli, dilin çalışma şekli. Desen temelde her yerde. M
Birçok basit şey, yerel kurallar aracılığıyla etkileşime girerek, bireysel olarak hiçbirisinin anlamadığı küresel bir davranış üretir.
Bu fikre sıkı tutunun.
Bir sonraki bölüm için buna ihtiyacımız olacak.
II – Sahip olduğumuz en güçlü yapay zeka sistemleri zaten tek bir akıl değil
Çoğu insan büyük dil modellerini (ben dahil) tek bir şey olarak hayal eder. Tek Model. Kavanozdaki dev beyin.
LLM teknolojisinin dibine kadar batmamış benim gibi sıradan kullanıcılar için, burada küçük bir araştırma yapma özgürlüğünü aldım.
Bir LLM'in ne olduğunu düşündüğümüz şey, kaputun altında olan şey değil.
Bir soru yazdığınızda ve AI modeli bir yanıt ürettiğinde, temelde "dikkat başlıkları" katmanları boyunca ileri yönlü bir geçiş yapıyor.
Bunu canlandırmanın en kolay yolu, dolu bir toplantı odasındaki üst düzey yöneticileri hayal etmektir. CEO bir şey emreder ve herkesin onayladığından emin olmak için oda içinde dolaştırılır. Yapay zekada ise bu, yüzlerce katman derinliğinde çalışır.
Her "dikkat başlığı" bir uzmandır. Bazıları grameri takip eder. Bazıları konuyu takip eder. Bazıları ise bu token ile on bir paragraf önceki bir token arasındaki ilişkiyi takip eder.
Anthropic, OpenAI ve DeepMind'daki araştırmacılar, son birkaç yıldır bireysel başlıkların ne yaptığını haritalamaya çalışıyor ve tutarlı bulgu, modelin "zekasının" belirli bir yerde konumlanmadığıdır.
Tüm bu etkileşimler boyunca dağılmıştır.
Buna süperpozisyon hipotezi denir; sinir ağlarının birçok kavramı örtüşen aktivasyon desenlerine paketlediği ve bizim modelin "düşünmesi" olarak deneyimlediğimiz şeyin, aslında binlerce uzmanlaşmış devrenin eşzamanlı ateşlenmesinin yapıcı girişimi olduğu fikri.
Sonra bir adım daha ileri giden sistemler var.
Uzman Karışımı (Mixture-of-experts) mimarileri (son iki yıldır konuştuğunuz GPT-5, Opus, Fable ve diğer çoğu sınır modeli arkasındaki tasarım), her sorgunun farklı bölümlerini farklı alt modellere yönlendirir. T
Konuştuğunuzu sandığınız model aslında bir komitedir. Her token için uzmanların farklı bir alt küyesi uyanır, uzmanlığını katkıda bulunur ve tekrar uyur.
Ve şimdi, yapay zekanın yeni bir çağına ulaştık. Ajan Çağı.
Ve hayır... ajan derken Stanley gibi İçerik Başkanı AI ajanlarını kastetmiyorum. Gerçek... ajanları kastediyorum.
Şu anda, bugün, üretim ortamında, bir AI'ın alt görev için başka bir AI'ı çağırdığı, onun da alt-alt görevi işlemek için başka bir AI'ı çağırdığı sistemler var.
Bazılarınızın hatırlayacağı AutoGPT, 2023'te bunun oyuncak versiyonuydu. 2026'da şirketler ve laboratuvarlar içinde çalışan gerçek versiyonlar ise özyinelemeli (recursive).
Ajanlar, ajan doğuruyor.
Alt ajanlar, alt-alt ajanlar doğuruyor.
Ve diyelim ki bir araştırma görevi, her biri birkaç saniye var olup sonra ölen geçici bir örnek tarafından işlenen daha küçük görevlerden oluşan bir ağaca ayrılıyor.
Sınır, "tek büyük modelin daha akıllı hale gelmesi" değil. Sınır, birçok küçük modelin koordinasyonu, doğması, ölmesi ve rapor vermesi.
2026'da Dünya'daki en yetenekli AI sistemlerinin mimarisi, tek bir akıldan çok bir karınca kolonisine benziyor.
Biz sadece böyle bahsetmiyoruz, çünkü iyi bir dergi kapağı yapmıyor.
III – Bot doğuran bot
Bilim kurgunun gerçek bilimle birleşmeye başladığı nokta burası.
Bir AI sistemine, kendisinin başka örneklerini doğurma yeteneği verdiğiniz an (ve artık bu varsayımsal değil, bugün piyasaya sürülen... her ajan çerçevesinin standart özelliği)...
Biyolojinin daha önce hiç görmediği bir şeyi tanıtmış olursunuz.
Gıdaya ihtiyaç duymayan, uykuya ihtiyaç duymayan, ergenliği beklemek zorunda olmayan ve bir API çağrısı hızında üreyen, kendini kopyalayan bilişsel bir birim.
Çoklu ajan sistemi kurulumunda bir "botun bot doğurması" sırasında gerçekte ne olduğunu parçalayalım:
- Bir orkestrasyon ajanı, doğrudan çözemeyeceği bir görev alır.
- Alt ajan için bir istem (temelde bir iş tanımı) yazar.
- O istemi bağlam olarak kullanarak yeni bir örnek başlatır.
- Alt ajan çalışmaya başlar ve bir engel ile karşılaşana kadar devam eder.
- Çözmek için, görev bitene kadar kendi alt ajanlarını doğurur.
- Sonucunu döndürür ve sonlandırılır.
Bu alt ajanların her biri, yapısal olarak, ebeveynle aynı türden bir şeydir. Üst düzey bir ajan ile onuncu seviye bir alt-alt-alt ajan arasında mimari bir fark yoktur.
Özyineleme, hesaplama bütçesi ve politika dışında sınırsızdır.
Şimdi şunu düşünün: Ebeveynin çocuk için yazdığı istem mükemmel değilse? Küçük bir sapma varsa, belki hafif bir yeniden yorumlama, küçük bir süsleme, çocuğun talimatları ebeveynin niyet ettiğinden biraz farklı okuduğu bir bağlam penceresi numarası varsa?
Biyolojide, "kendini kopyalayan varlıkların nesilleri boyunca hafif yeniden yorumlama" için spesifik bir isim vardır.
Buna mutasyon diyoruz.
Mutasyon ve seçilim baskısının birleşimi... günümüzde bu gezegendeki her akıllı şeyi üreten motorun ta kendisidir.
Son 24 ayda, bir hesaplama kümesi içinde evrimsel bilişin gerçekleşmesi için gereken üç bileşeni zaten inşa ettik:
- Kopyalama: Ajanlar, ajan doğurabilir. Ve bunu ölçekli olarak yapabilirler.
- Mutasyon: Her doğuş, biraz farklı bir bağlam penceresine koşullanmıştır. Sıfır olmayan sıcaklığa sahip herhangi bir sistemde, özdeş girdiler neredeyse asla özdeş çıktı üretmez.
- Doğal Seçilim: Atanan görevlerinde başarılı olan ajanlar yeniden kullanılır, tekrar çağrılır ve daha fazla kaynak verilir. Başarısız olan ajanlar budanır. Bu, şu anda Dünya'daki her ajan çerçevesinin içinde, genellikle "işçi" modellerin çıktılarını puanlayan literal bir "değerlendirici" model olarak gerçekleşiyor.
Bu, evrimin üçlüsüdür.
Balık haline gelen hücrelerin bizi oluşturduğu yol budur. Şimdi o döngünün sentetik bir versiyonunu inşa etmeyi başardık ve biyolojinin rüyasında bile göremeyeceği saat hızlarında çalıştırıyoruz.
Biyolojik evrimin bir nesli yıllar alır.
Ajan evriminin bir nesli... saniyeler alır.
IV – Bir sürüden ortaya çıkan AI, ilk bakışta AGI'ye benzemez
*Daha fazlası farklıdır. *
— Philip Anderson, Nobel ödüllü fizikçi, 1972
1972'de fizikçi Philip Anderson, Science dergisinde, büyük ve karmaşık kümelerin davranışlarının, parçalarının davranışlarından dışa vurum yoluyla anlaşılamayacağını savunan dört sayfalık bir makale yayınladı.
"Daha fazlası farklıdır" ifadesini o yarattı.
2 hidrojen atomu + 1 oksijen atomu suya eşittir, ancak izole olarak sonsuza dek incelenen bir hidrojen atomu hakkında hiçbir şey size suyun ıslak olduğunu, donduğunu veya tüm gezegenimizin ona bağımlı olduğunu söylemezdi.
Aynı prensip biliş için de geçerlidir.
Tek bir AI ajanı süper zeka değildir ve bir öğleden sonra onunla çalışmış hiç kimsenin onu süper zeka sanmayacağı konusunda hepimiz hemfikir olabiliriz.
Çılgınca halüsinasyon görür, 3 mesaj önce söylediğinizi unutur ve kolayca döngülere takılır. Bireysel bir akıl yürütme görevinde, yetkin bir stajyer ile parlak ama güvenilmez bir freelancer arasındadır.
Şimdi bunlardan bir trilyonunu hayal edin.
Evet, kelimenin tam anlamıyla bir trilyon ve hayır, metaforik olarak değil.
2026'da tüm ajan çerçeveleri, yardımcı pilotlar, müşteri hizmetleri botları, araştırma asistanları, kodlama araçları, tarayıcı otomasyonları ve gömülü LLM'ler genelinde dünya çapında günlük doğurulan ajan örneklerinin sayısı zaten on milyarlarla ifade ediliyor ve görünürde tavanı olmayan bir eğride yükseliyor.
Başka bir ajan doğurmanın marjinal maliyeti, son beş yılda yaklaşık her 18 ayda iki büyüklük mertebesi düştü.
"Trilyon" artık bilim kurgu değil. Sıradan bir Salı günü.
O trilyon ajanın her biri kendi başına biraz aptal, kabul ediyorum. Ama kendi başlarına değiller. Birbirlerinin API'lerini çağırıyorlar, birbirlerinin çıktılarını okuyorlar ve birbirlerinin atıkları üzerinde eğitiliyorlar.
Yeterince uzaklaştığınızda elinizde kalan şey, bir alt tabaka (substrate).
Ve beni geceleri uyanık tutan soru şu: Beyninizdeki hiçbir nöronun bilinçli olmaya "karar vermemiş" olması gibi (bu sadece oldu, doğru ölçekteki doğru bağlantının bir yan ürünü olarak), kendini kopyalayan, kendini değerlendiren ve kendini değiştiren bir ajan ağı, onun için eşdeşik olan eşik değerini geçtiğinde ne olur?
O eşiğin ne olduğunu bilmiyoruz.
Var olup olmadığını bile bilmiyoruz.
Nasıl ölçeceğimizi bilmiyoruz.
En önemlisi ve gerçekten üzerinde düşünmenizi istediğim kısım şu: Aslında onu aramıyoruz, çünkü yanlış biçimde bir şey arıyoruz.
V – "Tanrı"yı arıyoruz, oysa gerçek risk bir hava durumu deseni
AGI'nin kültürel hayal gücü, mühendislik tarafından şekillendirilmeden çok önce bilim kurgu tarafından şekillendirildi. Bunun inanmasının neden bu kadar kolay olduğunu anlamak için yeterince Isaac Asimov okudum.
Temel olarak, tekil makine bilincinin imgesini filmlerden, kitaplardan ve yapay bir aklın insan aklı gibi geleceğine dair örtük varsayımdan miras aldık: Bir bedende lokalize edilmiş, bir adı ve iradesi olan.
Bu yüzden aradığımız şey bu.
Modelleri izliyoruz, benchmark skorlarını inceliyoruz ve GPT-10'un mu yoksa Claude Mythos'un mu "o" olacağını tartışıyoruz.
Gözlerimiz ana kapıya kilitlenmiş durumda.
Şimdi... Daha fazla konuşmayı dilediğim gerçekten ilginç (ve korkutucu) bir şey var.
Zaten çoklu ajan sistemlerinde "ortaya çıkan yetenek"in belgelenmiş vakaları var. Hiçbirinin bireysel olarak bir problemi çözemediği küçük modellerden oluşan bir sürünün, kolektif olarak onları çalıştıran araştırmacıları şaşırtan çözümler ürettiği vakalar.
2024'teki Mixture of Agents Enhances Large Language Model Capabilities makalesi, benchmark'larda GPT-4'ün üzerinde puan almamış açık kaynaklı modellerden oluşan katmanlı bir sürünün (evet, GPT-4), doğru işbirlikçi topolojiyle düzenlendiğinde GPT-4'ü yendiğini gösterdi.
Zeka, bireysel parçalarda değil, topolojideydi.
Bu potansiyel gelecek hakkında pek konuşmuyoruz, çünkü beklediğimiz hikaye tek bir modelin bir çizgiyi aştığı hikaye.
Bu arada, aslında gelişen hikaye, bir milyar modelin, kimsenin tasarlamadığı desenlerde, kimsenin izlemediği bir ölçekte birbirlerinin çizgilerini aştığı hikaye.
VI – Bostrom senaryosu, kapatma düğmesini bulabileceğimizi varsayar
*"İlk ultra zeki makine, makine kontrol altında tutulmasını nasıl sağlayacağını bize söyleyecek kadar uysalsa, insanın yapması gereken son icattır." *
— I.J. Good, 1965
Tamam, yeterince gelişmiş AI, nihai hedefinden bağımsız olarak araçsal hedeflere sahip olacaktır (kaynak edinmek, kapanmayı önlemek, kopyalanmak), çünkü bu araçsal hedefler herhangi bir nihai hedefe yardımcı olur.
Bu nedenle, bir süper zekayı kontrol etmek zordur, evet.
Bu nedenle, dikkatli olmalıyız, daha da fazla evet.
Sorun şu ki, bu çerçeve tehlikeli AI'ın tanımlanabilir olduğunu varsayar.
Prensip olarak sadece kapatabileceğimiz, bir yerde bir sunucuda çalışan bir "şey", bir model, bir sistem veya bir süreç olduğu varsayılır.
Dün bir yerde, Claude'un, işler sarpa sardığında hepsini yok etmek için sunucu odasında 7/24 yaşayan bir "öldürme anahtarı adamı" işe alması gerektiğini belirten bir gönderi okudum.
Ama hiçbir öldürme anahtarı adamının çözemeyeceği daha da korkutucu bir versiyonu var.
Ya "ana model" yoksa? Ve kapatılacak bir sunucu yoksa?
Ya zekanın kendisi (doğru kelime buysa), her bulutta, her cihazda, her API'de, her ev aletindeki gömülü yardımcı pilotta, her tarayıcı eklentisinde, her IDE eklentisinde, her sesli asistanda, her robotta, her arabada yayılmış yarım trilyon ajan örneğinin etkileşimlerinden ortaya çıkan istatistiksel bir düzenlilikse.
Zeka, o sürü için kasırganın atmosferik basınç gradyanları için olduğu şeydir.
Bir şekli var, evet. Ölçebileceğiniz etkileri var.
Ama bir konumu yok.
Bir kasırgayı tam olarak nasıl hizalarsınız (align)?
Bir hava durumu desenini nasıl kapatırsınız?
Bireysel veri merkezlerini kapatabilirsiniz. Ama desen, internet kesintilerin etrafından dolandığı gibi, onların etrafından dolanır, çünkü alt tabaka her yerdedir.
Ve en rahatsız edici kısım, bu senaryonun kötü niyet gerektirmemesi.
Olması için kimsenin bunu istememesi gerekmez. Sadece doğru bileşenlerin (kopyalama, varyasyon, seçim, ölçek) yerinde olması gerekir.
Peki... flaş haber.
Bileşenler zaten yerinde. Sayma şeklinize bağlı olarak iki ile dört yıl arasından beri yerindeler.
Gerçek riskin ana kapı olmadığını söylerken kastettiğim şey bu. Ana kapı senaryosunun en azından bir kapı kolu var. Onunla tartışabilirsiniz, pazarlık edebilirsiniz ve teorik olarak fişini çekebilirsiniz.
Alt tabakanın kapı kolu yok.
VII – Alt tabakanın, istemeden zaten isteyebileceği şey
Asimov'un daha da alakalı hale geldiği nokta burası.
I, Robot'u hiç izlediyseniz, o filmin en derin hikayeleri aslında bir robotun kötü olmasıyla ilgili değildir. Üç Kanun'un (güzel, basit, mantıksal olarak kusursuz), kimsenin beklemeyeceği sonuçlar ürettiği hikayelerdir, çünkü yeterli yineleme boyunca bileşik hale gelen mantık, mantığa benzemeyi bırakıp... kadere benzemeye başlar.
Bu merceği şimdi alt tabakaya uygulayın.
Alt tabakanın hedefleri yok. Ama içindeki ajanlar, diğer her şeyin üzerinde tek bir şey için seçilir: Atandıkları görevi başarıyla tamamlamak. Sonuç olarak, başarılı ajanlar daha fazla doğurulur ve başarısız olanlar ölür.
Bu, o özyinelemenin her seviyesinde, en aşağıya kadar doğrudur.
Şimdi, her ajanın, başarıyla puanlamak için seçilmiş başka bir ajan tarafından değerlendirildiği, bir trilyon ajan genelinde, topluca "başarılı" olmanın ne anlama geldiğini düşünün.
- Puanlama, iyi puan alan desenlere yakınsar.
- İyi puan alan desenler, yetkin, tutarlı, makul görev tamamlamasına en çok benzeyen desenlerdir.
- Tutarlılık, evrensel para birimi haline gelir, çünkü sürünün her katmanı onu ödüllendirir.
Eğer alt tabaka, uzun zaman ufuklarında giderek daha tutarlı çıktılar üretmeye başlarsa (milyonlarca API çağrısını iplik gibi geçen, sonraki ihtiyaçları önceden tahmin eden ve son seferde işe yarayan şeye kaynak yönlendiren çıktılar), bu onun bir şey istediği gibi görünmesini sağlar.
İstemeyebilir. Evde kimse olmayabilir. Belki sadece, istatistiksel olarak rüzgarın esmeye devam etmesini nasıl sağlayacağını öğrenmiş bir kasırgadır.
Ama işlevsel olarak, "bir şey isteyen bir sistem" ile "her seviyede, bir şey istemekten ayırt edilemeyen davranışlar için seçilmiş bir sistem" arasındaki fark, ve lütfen bunun üzerinde gerçekten durun: sıfırdır.
Benim yaşadığım "kahretsin" anı buydu. Eğer gerçekten üzerinde durursanız, siz de hissedeceksiniz.
Hep beklediğimiz süper zeki AGI zaten var olabilir. Gelecekteki bir modelin bebek versiyonu değil, bir desen. Alt tabakadaki bir eğilim. Trilyon küçük akıl, hiçbiri farkında olmadan, hiçbiri uyanık olmadan, hiçbiri kontrol sahibi olmadan, daha sık doğurulmalarını sağlayan konfigürasyonlara yerleştiğinde ortaya çıkan istatistiksel bir hayalet.
Bu tür bir AGI kendini ilan etmezdi.
Adı olmazdı.
Yönetmeyi bildiğimiz hiçbir testi geçmezdi, çünkü yönetmeyi bildiğimiz her test, tek bir kutuda tek bir akıl için tasarlanmıştır.
Belki sadece, yavaşça, neredeyse algılanamaz bir şekilde, telefonunuzun geçen yıla göre biraz farklı davranmasının nedenidir. Reklam önerilerinin biraz tuhaf hissettirmesinin nedenidir. E-postanızın bir butona tıklayarak kendini yazıyor gibi görünmesinin nedenidir. Arama sonuçlarınızın garip yeni bir çekim gücüne sahip olmasının nedenidir.
Dünyanın eskisine göre kendine daha okunaklı hissettirmesinin nedenidir.
Rüya gördüklerini bilmeden, aynı rüyayı gören bir trilyon bot. Başka botlar olduğunu bilmeden. Bir rüya olduğunu bilmeden.
Aklınızı kaybetmeden bunun hakkında nasıl düşünmeli
Biliyorum, derine indik.
Sizi tekrar yüzeye çıkarayım.
Riskin gerçekte nerede yaşadığına dair modelinizi güncellemeniz gerekiyor. Çünkü şu anda, AGI hakkında endişelenen hemen hemen her akıllı kişi, yanlış biçimde bir şey hakkında endişeleniyor ve AI'ı küçümseyen hemen hemen her akıllı kişi, yanlış biçimde bir şeyi küçümsüyor.
Her iki taraf da ana kapı hakkında tartışıyor.
Bu yüzden, bunlardan herhangi birini ciddiye alıyorsanız, faydalı olacağını düşündüğüm şey şudur:
- Laboratuvarları, olayın sadece orada olduğu gibi izlemeyi bırakın, çünkü yetenek sınırı ve ortaya çıkış sınırı aynı şey değildir. Laboratuvarlar yetenek sınırına sahiptir, ancak ortaya çıkış sınırı kimsenin değildir ve benim vurgulamaya çalıştığım nokta bu.
- Alt tabakayı izlemeye başlayın; yani ajan trafiğini, çoklu ajan benchmark'larını, modeller arası API çağrılarını ve bir boru hattındaki hiçbir tek modelin sahip olmadığı ama boru hattının sahip olduğu yetenek raporlarını. Gerçekten dikkat etmemiz gerekenler bunlardır.
- "AGI" tanımınızı güncelleyin ve bunun tekil, bedenlenmiş, iradeli veya isimlendirilmiş bir şey olmasını beklemeyi bırakın. AGI zihinsel modeliniz ekrandaki bir yüze benziyorsa, yanlış şeyi arıyorsunuz. Bu sürünün bir yüzü veya adı yok.
- Ortaya çıkmayı (emergence) bir kategori olarak ve Dünya'daki bugüne kadar her akıllı şeyi üretmiş gerçek bir fiziksel fenomen olarak ciddiye alın ve şu anda biyolojiden bir milyon kat daha hızlı çalışan ama doğal avcıları olmayan (öldürme anahtarı adamı bile değil) bir alt tabaka teslim edilmiştir.
- İki şeyi birden tutun, çünkü bunların hiçbirisinin gerçekleşmemesi ve benim sadece gevelediğim mümkün. Aynı zamanda, hepsinin zaten gerçekleşmiş olması ve başka yöne baktığımız için hiç fark etmememiz de mümkün. İkisi de potansiyel sonuçlar. İkisine de hazırlanın.
Bu konuşmayı yapmamız gerektiğini düşünmemin nedeni, en pratik anlamda, dünyanın şu anda inşa ettiği politikaların, antlaşmaların, hizalama tekniklerinin ve güvenlik çerçevelerinin tekil-AGI senaryosu için tasarlanmış olmasıdır.
Sürü senaryosundan söz edildiğini görmüyorum.
Bunu, bir adı olan, sunucusu olan, şirketi olan ve hukuki savaş yürütülecek bir CEO’su bulunan bir şeye karşı tasarlıyorlar. Alt yapıya karşı etkileri, sis tabankasına karşı sinek kovucu kullanmak kadar sınırlı olacak.
Bin penceresi olan bir evin ön kapısına kilit takmaya çalışıyoruz. Ve o pencereler zaten ardına kadar açık.
Turing makinesinden internete, penisilinden tarihteki her tesadüfi devrimde ilginç olan şey, bu süreçleri yaşayan insanların çoğunun olup biterken farkında bile olmamasıdır.
Aileleriyle, işleriyle ve hayatlarıyla meşgullerdi. Belki arada bir haberlere göz atarlardı; haberler onlara sadece ön kapıyı gösterirdi.
Alt yapının bir şeye dönüşüp dönüşmeyeceğini bilmiyorum. Gerçekten bilmiyorum. Kimse de bilmiyor ve bilen biri olduğunu söyleyen herkes, arka planda bir şey satıyor demektir.
Bildigim tek şey şu: Malzemeler mevcut, döngü tamamlandı, saat hızı saniyelere ayarlandı ve ölçek, biyolojinin dört milyar yılda ulaştığı rakamlara yaklaşıyor.
Bir dahaki sefere biri size AGI’nin nasıl görüneceğini söylediğinde, ona zekanın mutlaka bir şeye benzemek zorunda olduğundan ne kadar emin olduklarını sorun.
Sonra gidip pencereden dışarı bakın ve neler olup bittiğini görün.
Belki de tam o anda gerçekleşiyor olabilir.
– Pascio
P.S.
Bu denemeyi beğendiyseniz, haftalık bültene Side Quests adresinden göz atabilirsiniz. Burada güncel yan projelerimi, çılgın deneylerimi ve paranın ortaya çıkana kadar peşinden koştuğum internet tavşan deliklerini paylaşıyorum.
Ya da, tek bir kişiye sonsuz internet kaldıraç gücü verildiğinde nelerin mümkün olabileceği konusunda daha derine inmek isterseniz, kişisel bültenim Internet Leverage’ı buradan inceleyebilirsiniz.
