Merhaba, Yapay Zeka Meraklıları!
OpenAI bu hafta resmen duyurdu: YGYZ Çağı'na hoş geldiniz.
GPT-6 Astra çıktı ve OpenAI bunu nesilsel bir sıçrama olarak sunuyor — bilgisayar kullanımı, kodlama, araştırma ve eskiden bir insanın başında beklemesi gereken uzun, dağınık işlerde büyük atılımlar.
Bir anlığına pazarlamayı olduğu gibi kabul edeceğim, çünkü bu, sektörün sessizce kaçındığı bir soruyu gündeme getiriyor: bu şeyi gerçekten nasıl ölçüyoruz?
Birkaç yıldır yapay zeka, kıyaslamalar üzerinde ilerliyor. Her lansman, yeni modelin burada %3, şurada %7 daha iyi olduğunu ve geçen bahar var olmayan bir kıyaslamaya göre gizemli bir şekilde %12 daha zeki olduğunu kanıtlayan bir tabloyla geliyor. Onları sıralıyoruz, renk kodluyoruz, liderlik tablolarına diziyoruz ve bir kazanan ilan ediyoruz. Modeller temelde soruları yanıtlarken bu yeterince iyi çalışıyordu. Modeller bir şeyler yapmaya başladığı anda işe yaramaz hale geliyor.
İşte temel sorun: bir kıyaslama sadece bir soru bankasıdır. Modele bir problem verirsiniz, bir cevap üretir, cevabı bir anahtara karşı kontrol edersiniz. Süslü bilgisayar kullanımı kıyaslamaları bile, altında, önceden oluşturulmuş ortamlarda çalışan bir yığın önceden yazılmış görevdir. Bu gerçekten faydalı. Ancak, bir ajanı gerçek bir makineye bırakıp bir şey halletmesini söylediğinizde olanlarla hiçbir ilgisi yok.
Gerçek hayat, bir kıyaslama dosyasıyla gelmez. Masaüstünüzdeki hiçbir şey size "bitti"nin tam olarak neye benzediğini söylemez.
Gerçek bir bilgisayar, görevin ortasında çöken bir tarayıcı, dün sessizce arayüzünü yenileyen bir site, üç çelişkili versiyonu olan bir e-tablo, kimseden bahsedilmeyen bir izin, altı klasör derinliğinde gömülü bir PDF, en kötü olası istekte zaman aşımına uğrayan bir API ve "şununla ilgilenir misin?" deyip "bunu" tanımlamadan uzaklaşan bir insandır.
Ajan bunu çözmek zorunda. Ve kimsenin iyi kıyaslamadığı kısım: ilk deneme başarısız olduğunda toparlanması gerekiyor. Bu, doğru cevabı almaktan tamamen farklı bir beceri.
Bu nedenle, OpenAI'ın pekiştirmeli öğrenme ve bilgisayar kullanımı eğitimi için on binlerce tüketici Mac'i satın aldığına dair haberler, göründüklerinden daha anlamlı. Kesin rakamlar rapor edildi, denetlenmedi — ancak yön tartışılmaz. Sınır laboratuvarları, modellerinin bir sohbet kutusunda sıkışıp kalmak yerine gerçek makinelerde olmasını istiyor. Ve bu, tüm kıyaslama oyununu sessizce bozuyor.
Aynı bilgisayarda, aynı belirsiz talimatla iki ajan hayal edin:
Bu pazarı araştır, umut verici üç şirket seç, bir mali karşılaştırma oluştur ve yatırım komitesi için bir sunum hazırla.
Bunu yapmanın tek bir doğru yolu yok. Yüzlerce yol var. Bir ajan iki saat gezinir. Bir diğeri bir komut dosyası yazar. Üçüncüsü, yolun yarısında daha iyi bir veri kaynağına rastlar ve orijinal planını bir kenara atar. Dördüncüsü bir hata yapar, yakalar ve düzeltir. Beşincisi size tamamen yanlış sayılar üzerine kurulu muhteşem bir sunum verir.
Peki hangisi kazandı? Kıyaslama yazarı cevabı önceden yazamaz, çünkü tek bir cevap yoktur.
Ve işte bu gerçekten rahatsız edici hale geliyor. Bir ajana not vermenin en zor kısmı artık cevap doğru muydu olmayabilir. Bunların herhangi biri gerçekten faydalı mıydı olabilir. Kulağa kılı kırk yarmak gibi geliyor. Ama öyle değil.
Bir bilgisayar kullanımı kıyaslamasının %95'ini geçen bir ajanı alın ve onu bir haftalığına gerçek bir şirkete bırakın. Yanlış klasör yapısını oluşturur, canlı bir e-tablonun üzerine yazar, çıkmaz bir sokakta altı saat harcar, 2023'ten bir istatistiği güvenle alıntılar ve sormayı asla düşünmediği bir izin duvarına takılıp kalır. Her kıyaslama görevi: mükemmel. Kimse onu ikinci bir hafta çalıştırmaz.
Şimdi sadece %85 puan alan bir ajanı alın — ancak ne zaman kafasının karıştığını bilir, onu rahatlatan tek soruyu sorar, bir şey bozulduğunda taktiği değiştirir ve gerçekten kullanabileceğiniz işi sessizce teslim eder. Hangisi daha zeki? Liderlik tablosunun hiçbir fikri yok. Açıkçası, bizim de yok.
Bu yüzden bağımsız kıyaslamaların bir duvara çarptığını düşünüyorum. Araştırmacıların işi savsaklamasından değil — her zamankinden daha zor, daha gerçekçi testler inşa ediyorlar. Sorun şu ki, gerçeklik testten daha büyük olmaya devam ediyor. Kıyaslamayı uzatabilir, daha fazla araç, daha fazla site, daha fazla uygulama, daha fazla adım, daha fazla rastgelelik ekleyebilirsiniz. Fark etmez. Hâlâ kuralları olan bir oyun inşa ediyorsunuz ve bir model oyunu oynamayı öğrendiği anda, başlangıç noktasına geri dönüyorsunuz.
Bu yüzden puanları alacağız. %91,4. %94,7. %97,2. %98,1. İnsanlar Model A'nın Model B'yi yenip yenmediğini tartışacak. Bir başkası başka bir liderlik tablosu başlatacak. Bir başkası da liderlik tablolarının liderlik tablosunu başlatacak. Ve tüm bu süre boyunca, model bu sayıların hiçbirinin tanımlayamadığı şeyler yaparak gerçek bir bilgisayarda oturuyor olacak.
İşte kıyaslama paradoksu: Yapay zeka genel amaçlı zekaya ne kadar yaklaşırsa, önceden yazılmış bir soru bankası size onun hakkında o kadar az şey söyler.
Peki bunun yerini ne alıyor? Cevabın "daha iyi bir kıyaslama" olduğunu düşünmüyorum. Bence tür olarak farklı bir şey. Ajana bir soru vermeyi bırakın ve ona bir hedef verin. Ona düzenli bir kum havuzu vermeyi bırakın ve dağınık bir tane verin. Beklenen adımları izleyip izlemediğini puanlamayı bırakın ve sonucu alıp almadığını puanlayın. Aynı halka açık testi tekrar tekrar çalıştırmayı bırakın ve onu sürekli değişen ortamlara, daha önce hiç görmediği özel görevlere atın.
Ve yalnızca başarılı olup olmadığını sormayı bırakın. Ne kadar güvenilir bir şekilde başarılı olduğunu, maliyetinin ne olduğunu, ne kadar sürdüğünü, ne sıklıkla bir insana ihtiyaç duyduğunu, ne kadar güvenli davrandığını ve işin gerçeklikle temasına dayanıp dayanmadığını sorun.
Basitçe söylemek gerekirse: yapay zeka değerlendirmesinin bir sonraki nesli, bir sınavdan çok bir staj gibi görünmelidir.
Modele şunu sormayın:
Testi geçti mi?
Ona bir dizüstü bilgisayar, bir hesap, bir bütçe, bir hedef ve bir hafta verin. Sonra ne yaptığını izleyin. Bu size zekası hakkında çok daha fazlasını söylerdi — ve standartlaştırması bir kabus olurdu. İşte asıl mesele de bu.
Gerçek dünya zekası dağınık, bağlamsal, uyarlanabilir ve açık uçludur. Onu sabit cevapları olan temiz bir soru listesine dönüştürdüğünüz anda, zekayı ölçmeyi bırakırsınız. Sınav çözmeyi ölçüyorsunuzdur.
Ve bu yüzden Astra benim için farklı bir anlam taşıyor. OpenAI bize, yüksek sesle, YGYZ Çağı'na girdiğimizi söylüyor. Güzel. Ama bu doğruysa, muhtemelen YGYZ'ye sohbet robotları için tasarladığımız standart sınavı vermeyi bırakmalıyız.
İlginç soru artık "kaç puan aldı?" değil. "Ona bir bilgisayar verip bir şey halletmesini söylediğinizde ne olur?" Ve sanırım henüz iyi bir cevabımız olmadığını öğrenmek üzereyiz.
Öyleyse — YGYZ Çağı'na hoş geldiniz. Ve aynı zamanda, sessizce: Puanlanamaz Yapay Zeka Çağı'na hoş geldiniz. Kıyaslama daha kötü olmadı. Ölçmeye çalıştığımız şey onun içinden çıkıp gitti.
