Ajan tabanlı muhakeme kıyaslaması: Pokémon Crystal'da Gemini 3 Pro ve Gemini 2.5 Pro karşılaştırması

Gemini 3 Pro, 16 rozet alarak, Elit Dörtlü ve Şampiyon'u yenerek ve gizli patron Red'i yenerek yarışın galibi oldu. Bunu, Gemini 2.5 Pro'nun sadece dört rozet almak için harcadığı token ve hamle sayısının yaklaşık yarısı kadar bir sürede başardı. Pokémon Crystal'daki bu tamamen otonom kafa kafaya yarış, ARISE Vakfı'ndan Joel Zhang (@TheCodeOfJoel) tarafından gerçekleştirildi (ve Twitch'te yayınlandı). Modelleri karşılaştıran ayrıntılı blog yazısı, davranışlarındaki çok sayıda büyüleyici farklılığı ortaya çıkardı; genel olarak, Gemini 3 Pro, Crystal'ı tamamlamada Gemini 2.5 Pro'dan en az 2 kat daha hızlı ve tahmin edersek, daha doğru bir tahmin, eski modelin yaklaşık 8 kat daha yavaş olduğunu gösteriyor.

Gemini 3 Pro'nun Gemini 2.5 Pro'ya kıyasla tamamlama hızı. Kaynak: Joel Zhang

Bu durum, Red'e karşı yapılan son savaşla doruğa ulaştı. Seviye dezavantajıyla karşı karşıya kalan 3.0 ajanı, "Operasyon Zombi Anka" adını verdiği karmaşık, çok aşamalı bir strateji geliştirdi. Pasif iyileşme, istatistik düşürme, kaynak tüketimi ve bir "canlandırma döngüsü"nü birleştiren bu strateji, maraton gibi 7 saatlik bir savaşta zafere ulaşmasını sağladı.

0:52

Red'e karşı zafer. Kaynak: Joel Zhang

Bir yapay zeka bilim insanı komutu

Bu yarış için kullanılan koşum takımı (harness) kurulumu, adil bir karşılaştırma sağlamak için iki ajanda da aynıydı. Özellikle, ajanlara "oyunu olabildiğince hızlı bitirmeleri" söylenmedi, bunun yerine bilimsel yöntemi kullanmaları ve oyun hakkındaki ön bilgilerinin doğru olduğunu varsaymamaları istendi. Yapılandırılmamış not defteri işlevi, ajanların oyun ilerleyişini takip ederken hipotezler kaydetmesine ve fikirleri test etmesine olanak tanıdı.

Bu felsefe, ajanların koşum takımı içinde kendi kod araçlarını ve alt ajanlarını tasarlamalarına izin veren koşum takımının esnekliğiyle uyumludur. Bir anlamda, bu yarış aynı zamanda ajanların çevrelerine ne kadar hızlı uyum sağlayabildiklerini ve Pokémon Crystal dünyasında başarılı olmak için çalışan bir düzen kurabildiklerini de test etti.

"Eğitim tekerleklerini" atmak

Gemini 3 Pro, araçlarına güvenme olasılığı daha yüksektir. Bir eylem başarısız olduğunda, kod tabanı yerine ortamı yeniden değerlendirir. Bu farkındalık, koşum takımı kısıtlamalarıyla ilgili büyüleyici bir davranışa yol açtı.

Koşum takımı, 2.5 Pro'yu dengede tutmak ve emülatör senkronizasyon bozukluklarını önlemek için "karma girişleri" (örneğin, A ve Yukarı tuşlarına sırayla basmak) yasaklayarak katı giriş işleme uygular. Gemini 3 Pro, karmaşık giriş dizileri gerektiren bir durumla (özellikle bir Pokémon'a isim verme) karşılaştığında, tek tuşa basma kısıtlamasını verimsiz buldu.

Kısıtlamayı kabul etmek yerine, define_tool yeteneğini kullanarak press_sequence adlı özel bir araç yazdı, çünkü özel araçlarda düğmelere basmak için karma giriş kısıtlaması yoktur.

Bu komut dosyası, giriş dizilerini yerel olarak toplu olarak işlemesine izin verdi ve zekice tasarlanmış bir boşluktan yararlanarak verimliliğini artırmak için koşum takımı kısıtlamalarını aşan kendi sürücüsünü etkili bir şekilde yazdı. 3.0 ajanı, koşum takımı kısıtlamalarını değişmez yasalar olarak değil, çözülmesi gereken mühendislik problemleri olarak ele aldı.

Çok modlu avantaj

1. Spor Salonu'nda çözüm, lavdan oluşan bir zeminde bir yol oluşturmak için üst kattan kayaları düşürmeyi gerektirir. Alt kattaki durum değişikliğini, verilerde düşmüş kayalardan bahsedilmediği için yalnızca koşum takımından gelen RAM verilerine dayanarak takip etmek zordur.

Gemini 3 Pro, bulmacanın henüz çözülmediğini varsayarak (ikinci seviyede kalan yem kayalar tarafından daha da kötüleştirilen bir durum) saplandığı bir döngüden kurtulmak için düşmüş kayaları belirlemek amacıyla görsel akışı kullandı. Potansiyel olarak kafa karıştırıcı durum verilerini görmezden geldi ve kaya konumlarını belirlemek için ekran görüntüsüne güvenerek stratejisini görsel kanıtlara dayanarak düzeltti. Veri modaliteleri arasında (RAM incelemesinden ham görüşe) geçiş yapma yeteneği, 3.0 ajanının saatlerce döngüde kalmasına neden olan "sıkışmış" bir durumdan kurtulmasına yardımcı oldu.

Ayrıca dikkat çekici olan, 3.0 ajanının rakiplerin sağlık çubuğunu "okuyabilme" yeteneğiydi. Bir savaşta yapılacak en iyi hamleyi anlamak için son derece önemli olan bu bilgi, RAM durumu tarafından sağlanmaz ve ajan tarafından ekrandan çıkarılması gerekir. 3.0 ajanı, Red ile savaş sırasında kalan sağlık oranını oldukça doğru bir şekilde tahmin edebildi; bu durum muhtemelen başarısına katkıda bulundu.

Savaş verimliliği ve durum yönetimi

Verimlilik farkı ve gelişmiş savaş muhakeme performansı, Gemini 3 Pro'nun zaferinde son derece önemliydi. Gemini 2.5 Pro, daha zayıf strateji oluşturma yetenekleri nedeniyle 3. Spor Salonu liderine (Whitney) karşı iki kez kaybetti ve sonuç olarak 3. rozeti almak için gerekenden çok daha fazla seviye atlamak için aşırı zaman harcadı.

Gemini 3 Pro, Red ile yapılan son gizli patron savaşı da dahil olmak üzere tüm oyunu tek bir kayıp olmadan tamamladı.

Üstün taktiksel muhakeme sergileyerek, hareket seçimini optimize etmek için anlık hasar hesaplamaları yaptı. Örneğin, rakibin Snorlax'ının Özel Savunmasını güçlendirdiğini fark ettikten sonra Alev Fırlatıcı yerine doğru bir şekilde Süratli'yi seçti ve ayrıca hava durumuna dayalı hesaplamaları da hesaba kattı (yağmur, ateş hasarını azaltır). Elit Dörtlü mücadelesi sırasında, turlar arasında sağlığı tamamlamak için eşyalar kullanarak can puanı korumasını proaktif bir şekilde yönetti; bu, 2.5 Pro'nun tarihsel olarak acil savaş hareketlerine göre önceliklendirmekte zorlandığı bir davranıştır.

Mevcut sınırlamalar

Performans sıçramasına rağmen, Gemini 3 Pro'nun kusurları yok değil.

• Doğrulama olmadan varsayımlar: Gözlemlenen en büyük başarısızlık modu, bir hipotez oluşturup onu test etmeyi reddetmekti. Bir örnekte, 3.0 ajanı, radyo arayüzünün görsel bir kadran (Yukarı/Aşağı) yerine standart bir menü (Sol/Sağ) gibi çalıştığını varsayarak görsel ipuçlarını görmezden geldi ve bir döngüde saatlerce zaman kaybetti. Başka bir durumda, 3.0 ajanı kilitli bir kapı bulmacası hakkında giderek karmaşıklaşan teorileri test ederek çok zaman harcadı ve yakınlardaki ipucu veren NPC'lerle konuşmayı başaramadı.
• Proaktif planlama: Tepkisel taktikler güçlü olsa da, proaktif hedef yönetimi tutarsız kalıyor. 3.0 ajanı genellikle stratejik bir ihtiyacı belirler (örneğin, "Pokémon sırasını değiştir") ancak savaş başlayana kadar bunu uygulamada başarısız olur.
• Kuru çalıştırmalar: 3.0 ajanının bir aracı çağırdığı ancak araç çağrı parametresinde hata yaparak kuru çalıştırmaya neden olduğu birçok örnek vardır. Bununla birlikte, 2.5 ajanının aksine, genellikle bu hatayı fark eder ve sonraki turda kendini düzeltir.
• Paralel planlama: 3.0 ajanı, verimlilik kazanımları için birden fazla büyük hedefi paralel olarak yürütmeyi planlamakta zorlanır; bunun yerine, aynı anda birden fazla hedefte ilerleme kaydetmek mümkün olsa bile, görevleri tek tek çözmeyi tercih eder.

Çıkarılacak ders

Bu yarışta, Gemini 3 Pro basit talimat takibinin ötesine geçti ve gerçek mekansal muhakeme, doğaçlama araç oluşturma ve hipotez testine "bilimsel" bir yaklaşım sergiledi.

Bu muhakeme yeteneği doğrudan verimliliğe dönüştü. Gemini 3 Pro, koşuyu 17 günde 1,88 milyar token kullanarak tamamladı. Mineral Rozeti kilometre taşına dayanarak, Gemini 2.5 Pro'nun aynı sonucu elde etmesinin 69 gün ve 15 milyar token'ın üzerinde süreceği tahmin ediliyor.

Kendi otonom ajanlarınızı oluşturmaya başlamak için teknik uygulama ayrıntıları için Gemini 3 belgelerine göz atın.