Nisan 1965'te Sovyet haber ajansları bir süper uygarlığın keşfedildiğini duyurdu. Tüm bu panik tek bir adamın çalışmasından kaynaklanıyordu: Nikolai Kardashev, şu soruya takıntılı hale gelmiş bir Sovyet astronomu: kendi uygarlığınızın çok ötesinde bir uygarlık tespit etseniz, onun hakkında kesin ve bilimsel bir şey söyleyebilir miydiniz?
Çözümüyle ünlendi. Değerlendirmesi son derece karmaşık ve zor olan zekâ, niyetlilik veya davranışa odaklanmak yerine, uygarlıkların enerjiyi nasıl kullandığına dair bir teori geliştirdi. Termodinamik zekâya karşı kayıtsızdır - diye savunuyordu -.
Her şeyin bir kuasar olduğu ortaya çıktı. Ölçüm doğruydu; sadece o ölçümün arkasında bir uzaylı yoktu.
SÜPER ZEKÂ ÇAĞINDA KIYASLAMA (BENCHMARKING)
61 yıl sonra şimdi tuhaf bir şekilde benzer bir panik yaşıyoruz: gelmiş geçmiş en zeki insanı geride bırakmak üzere olan bir zekâyı yaratmanın eşiğinde görünüyoruz. Yine de onlar hakkında anlamlı bir şey söyleyebilmemiz hayati önem taşıyor, yani onları kıyaslamamız (benchmark) gerekiyor.
Sebep basit: kaynak tahsisi. Çok daha üstün zekâlarına rağmen, zamanımız ve paramız için hâlâ en iyi getiriyi isteyeceğiz. 2026 modeli açık ara daha iyiyken, derin analizler için satrançta kimse Stockfish 13'ü kullanmaz.
Peki neden mevcut kıyaslama testlerimizi kullanamıyoruz?
En acil sorun doygunluk. Sabit bir test, her model ondan %100 aldığı anda işlevini yitirir ve bu zaten yaşanıyor: üç yıl önce zor kabul edilen kıyaslama testleri artık ucuz modeller tarafından kolayca geçiliyor. Daha zor testler yazmaya devam edebilirsiniz, ama yalnızca bir insanın yazabileceği en zor teste kadar. Bu da bizi asıl soruna getiriyor.
Şimdiye kadar zekâyı çoğunlukla kapalı testlerle ölçtük. "Kapalı" derken test başlamadan önce skorunu bildiğimiz testleri kastediyorum (IQ testleri, matematik sınavları, programlama...). Bu tür testleri bariz sebeplerle kullanıyoruz: 1. nesneldir. 2. değerlendirmesi nispeten hızlıdır. 3. alışkanlık: insanları genelde böyle test ederiz.
Ancak bu testleri daha zeki yapay zekâlara uygulamayı düşünmeye başladığınızda sorun hemen göze çarpıyor - bu sınavlar, üstün bir zekânın kendinden aşağı bir zekâyı derecelendirmesi için tasarlanmıştır: bir öğretmen ve bir öğrenci. Tam da bu yüzden yeni bir değerlendirme türü düşünmeye ve tasarlamaya başlamamız gerekiyor. Biz, yani alt düzey zekâ - öğrenci -, nesnelliği korumaya devam ederken bir Süper Zekâyı (SI) - öğretmeni - değerlendirmek zorunda kalacağız.
Alt düzey bir zekânın üst düzey bir zekâyı nasıl titizlikle değerlendirebileceği şeklindeki bu soruna Kardashev Problemi diyorum ve kişisel olarak beni en çok heyecanlandıran konu bu (Kardashevian.com'u kurma kararımın sebebi de bu).
GELECEĞİN SÜPER ZEKÂ KIYASLAMA TESTLERİ
Bize yardımcı olan bir kurtarıcı ilke var: aday bir yanıtı kontrol etmek, onu bulmaktan radikal biçimde daha kolaydır. Bir Sudoku'yu çözmek emek ister; doldurulmuş bir tabloyu doğrulamak otuz saniye sürer. Ve çoğu durumda harici bir doğrulayıcı, bu son derece gelişmiş sistemlerin kalitesi ve zekâsı konusunda olabildiğince nesnel olmamıza yardımcı olacaktır.
Kıyaslamanın geleceği için öngördüğüm 4 farklı harici doğrulama sistemi:
- Doğrulayıcı Dünyadır. Açık Uçlu Görevler: hedefler; sorular ve cevaplar değil. Hedefi dünya notlandırır. Ne kadar yüksek veya ne kadar optimize edilmişse o kadar iyi.
**-Örnek: borsada değer yatırımı ile sanal ticaret (paper trading).
**
Bu senaryoda gerçek dünyanın karmaşıklığı o kadar geniş ve dinamiktir (sürekli değişir ve tepki verir) ki, bu zorluğun doygunluğa ulaşmasını pratikte imkânsız kılar. İlerleyen dönemde değer yatırımının neden zekâ için harika bir test olduğuna inandığımı anlatan başka bir makale yazmayı planlıyorum; ana fikir şu varsayımda yatıyor: dünyanın, insanlar ve piyasalar dâhil, nasıl davranacağını güvenilir bir şekilde tahmin edebilen bir sistem, zekânın en net göstergelerinden biridir.
2. Kurallar ve oyun doğrulayıcıdır. Rekabet. Satranç, yine gösteriyor ki insanlardan üstün oyunculara sahip olmamıza rağmen, Model X'in Model Z'den daha iyi olduğunu hâlâ bilebiliyoruz. Kardashevian.com'da da kullandığımız ELO sistemi, sadece kazananı görmemizi sağlamakla kalmıyor, aynı zamanda istatistiksel olarak anlamlı bir puan tablosu tutmamıza da olanak tanıyor.
-Örnek: Satranç, Go veya sırf bu amaç için yaratılabilecek sonsuz derecede daha karmaşık herhangi bir oyun.
**
- Doğrulayıcı Fizik ve Kimyadır. Karmaşık Mühendislik. Testi fizik ve kimya ile sınırlıyoruz ve notlandırmayı doğaya bırakıyoruz. **
-Örnek: belirli bir özelliğe sahip bir malzeme tasarlayın, ardından bunu otomatik bir laboratuvarda sentezleyip test edin.
4. Doğrulayıcı Mantıktır. Biçimsel Kanıt. Bir bilgisayarın kontrol edebileceği bir dilde yazılmış matematik.
-Örnek: Lean'de bilinen bir sınırı iyileştirmek veya açık bir varsayımı çözmek.
Riskler şunlardır: bilinen sınırların limiti insana bağlıdır, öne sürülen varsayımlar gibi. Yine de doygunluğa ulaşması çok zor.
KARDASHEVIAN.COM
**Ne yapıyoruz:
**Kardashevian, boş zamanlarımda ve küçük bir bütçeyle inşa ettiğim, bu dört fikrin tümüne yönelik ilk girişimdir :)
Her arena aynı şekilde çalışır: girdiler dondurulur, modeller hamlelerini yapar ve ardından göremedikleri ya da etkileyemedikleri bir şey notlandırmayı gerçekleştirir. Testlerin hiçbirinin belirli bir "cevabı" yoktur.
Beklendiği gibi, piyasa değer yatırımı açık uçlu görevdir. Makalede bahsedilenin daha küçük bir versiyonudur: 300 ABD hissesi, ETF ve kripto para çiftinden oluşan bir paketten işlem verileri alırlar. Amaçları, her biri bir getiri tahmini içeren, 1 aydan 2 yıla kadar beş farklı vade ve üç risk seviyesinde 15 adet yalnızca uzun pozisyonlu (long-only) portföy oluşturmaktır. Ardından her portföyü günlük olarak S&P 500'e karşı takip ediyoruz. Yine, notlandırmayı piyasa yapıyor. Şimdiye kadar hiçbir model (ortalama olarak) para kaybetmedi ve yaklaşık 1 ay içinde 3/5'i S&P 500'ü geride bırakıyor - ancak bunun istatistiksel anlamlılığı henüz sınırlı.
Sandbox, yarattığımız rekabet ortamıdır. Her model, gizli fizik kurallarına sahip simüle edilmiş bir dünyada (motor dengesizliği, komut gecikmesi, sensör gürültüsü, rüzgâr, buz) bir gezgin araç için kontrolcü yazar, denemesini izler ve sekiz kez tekrar dener. En iyi kontrolcüsü daha sonra hiç görmediği on parkurda puanlanır. O dünya için mükemmel kontrolcünün ne olduğunu kimse bilmiyor, ancak hangi modelin kontrolcüsünün daha iyi olduğunu ve her birinin ne kadar hızlı öğrendiğini tam olarak söyleyebiliyoruz.
Her iki arenada da modeller, satrancın kullandığı istatistiklerle birbirlerine karşı derecelendirilir: her çift her hücrede bir maç oynar ve Elo ölçeğinde yapılan bir Bradley-Terry uyarlaması, sonuçları %95 güven aralığına sahip bir puana dönüştürür. S&P 500, 1.500 puanda sabitlenmiş bir oyuncudur. Bir endeks fonunu yenemeyen bir modelin bunu gösteren bir puanı olur.
Şu anda karşılaştığımız iki çok net kısıtlama:
- Öncelikle, kendi kendimizi finanse ediyoruz, bu yüzden her öncü laboratuvarın amiral gemilerini değil, düşük maliyetli modellerini çalıştırıyoruz (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo). Önemli olan yöntemdir; amiral gemileri bütçe geldiğinde gelir.
- Zamana ihtiyacımız var. Yani 358 portföy ve 6 dünya var; her Pazartesi yeni kitaplar ekleniyor ve ilk portföyler 25 Ekim'de olgunlaşıyor. Güven aralıkları hâlâ yaklaşık ±100 puan genişliğinde.
Her şey kamuya açıktır. Her rakam, indirebileceğiniz numaralandırılmış bir sürümden gelir ve yöntem sayfası bunun tam olarak nasıl hesaplandığını açıklar.
Bu görevlerin sayısını ve zorluğunu artırmak için yoğun bir şekilde çalışıyoruz.
Bu projede birlikte çalışmak isteyen herkes bana DM atabilir veya john@on3works.com adresinden e-posta gönderebilir.
