Gemini 4 Argon ajanlarından oluşan bir ekip Minecraft'ı yendi

Dört Gemini 4 Argon ajanını güvenli bir şekilde yalıtılmış (sandbox) bir Minecraft hayatta kalma dünyasına yerleştirdik ve onlara tek bir hedef verdik: oyunun sonundaki boss olan Ender Dragon'ı yenmek. Bunlar, mühendislerin günlük yazılım işlerinde kullandığı genel amaçlı kodlama ajanlarımızdı; Minecraft için özel olarak geliştirilmiş bir sistem değildi. Araştırmacıların canlı bir kontrol panelini izlediği ve istedikleri an müdahale ederek çalışmayı duraklatabileceği veya sonlandırabileceği güvenli bir ortamda hareket eden her ajan, açık kaynaklı bir kütüphane aracılığıyla bir oyuncuyu kontrol etti ve oyun içi sohbet ile paylaşılan bellek üzerinden takım arkadaşlarıyla koordinasyon sağladı. Kimse onlara rol dağıtmadı ya da oyun mantığı yazmadı: ajanlar her programı kendileri planladı, yazdı ve hata ayıklamasını yaptı.

Yirmi yedi saat ve 2.783 programın ardından ejderhayı yendiler.

Peki bu neden önemli? Minecraft'ı bitirmek, bir günden uzun süre boyunca binlerce birbirine bağlı adımda tutarlı bir planı sürdürebilmeyi gerektiriyor. Başarılı bir şekilde iş birliği yaparak, tekrarlayan başarısızlıklardan toparlanarak ve insan müdahalesi olmadan ortak bir hedefin peşinden giderek bu ajanlar, karmaşık yazılım mühendisliği ve araştırma görevleri için gereken uzun vadeli, ucu açık problem çözme becerisine sahip olduklarını kanıtladılar. Bu deneyimlerden ve bu test altyapısından edindiğimiz bilgileri; kodlama, bilim, mühendislik ve robotik gibi diğer alanları ilerletmek için kullanmayı planlıyoruz.

Minecraft Büyük Meydan Okuması

Rastgele oluşturulmuş bir dünyada Minecraft'ı bitirmek, birbirine bağlı uzun bir adım zinciri gerektirir: temel malzemeleri çıkarmak, nadir eşyaları toplamak için tehlikeli alternatif boyutlarda hayatta kalmak, gizli bir yeraltı kalesini bulmak için matematik kullanmak ve sonunda sürekli kendini iyileştiren bir boss'u yenmek. Her adım saatler sürebilir ve yeniden doğduğunuzda taşıdığınız her şeyi kaybedersiniz. Bir ajan için zor olan kısım, herhangi bir tekil adımdan ziyade, binlerce adım boyunca tutarlı bir planı koruyabilmektir.

AlphaGo'dan AlphaStar'a kadar önceki oyun dönüm noktaları, tek bir oyun üzerinde uzun süre eğitilmiş sistemlerden geldi ve çoğu Minecraft ajanı da benzer şekilde oyuna özgü eğitimlere, beceri kütüphanelerine veya planlayıcılara dayandı. Daha yakın zamanda topluluk projeleri, tek bir dil modeli ajanının ejderhaya ulaşabileceğini gösterdi. Ancak bu denemeler ağır kısıtlamalara ve kısa yollara dayanıyordu: önceden keşfedilmiş bir dünyada, portalı önceden açılmış şekilde Barışçıl modda oynamak ya da tek bir ajana insanların programladığı düzinelerce Minecraft aracını çalıştırması için vermek gibi.

Biz farklı bir soru sormak istedik. Diğer büyük dil modelleri gibi Argon da internette Minecraft hakkında bolca şey okumuştu. Acaba genel amaçlı kodlama ajanlarından oluşan bir ekip, bu bilgiyi alıp; oyuna özgü araçlar, ipuçları, insan yönlendirmesi ve önceden atanmış roller olmaksızın yalnızca yalın bir programlama arayüzü üzerinden kendi kendini organize ederek, sıfırdan rastgele bir hayatta kalma dünyasında Ender Dragon'ı yenebilir miydi?

İş Başında İş Birlikçi Kodlama

Ajanlar hiçbir zaman bir piksel görmedi ya da bir tuşa basmadı. Her ajan, "bu koordinatlara yürü ve 16 blok içindeki tüm demir cevherlerini kaz" gibi kısa programlar yazarak hareket etti. Ayrıca programın çalıştırılmasıyla üretilen çıktıyı; ajanın güncellenmiş konumunu, sağlığını ve envanterini ya da oluşan hatayı da okudular. Önceki topluluk çalışmalarının aksine, düşman canavarların bulunduğu Kolay zorluk seviyesinde rastgele bir dünyadan ve yayımlandığı haliyle standart Mineflayer kütüphanesinden başladılar; biz üzerine hiçbir şey eklemedik. Mineflayer, bir programın oyuncunun konumunu, sağlığını, envanterini ve çevresini okumasına ve bir noktaya yürüme, blok kazma veya yerleştirme, eşya üretme ya da saldırma gibi temel eylemleri komut vermesine olanak tanır. Mineflayer bir ajana nasıl oynayacağını söylemez: ne yapılacağı ve hangi sırayla yapılacağı tamamen ajanlara kalmıştı.

On dakika içinde ajanlar sohbette iş bölümünü yapmıştı bile: biri alet üretti, biri yiyecek topladı, biri elmas kazdı ve biri de oyunun ikinci boyutuna geçiş portalını inşa etti. Gizli kaleyi bulmak için bir ajan, iki farklı noktadan kaleye doğru uçacak şekilde iki eşya fırlattı, her bir uçuşu kodla takip etti ve iki yolun nerede kesiştiğini hesapladı. Tahmini, 1,3 kilometre uzaktaki kalenin sadece 43 metre yakınına isabet etti.

Eşya simgeleri Minecraft'ın kendi dokuları değil, açık kaynaklı Pixel Perfection doku paketindendir (XSSheep ve Nova_Wostra, CC BY-SA 4.0).

Ejderhayı yenmek oyundaki en zor ve en çok zaman alan meydan okumaydı ve ajanların 69 kez yeniden doğmasına neden oldu. Denemeler arasında bir sonraki girişim için ders notları çıkardılar. Sonunda bir ajan, kristallerin ejderhayı iyileştirdiğini fark etti ve onlara ulaşmak için kazmaya gerek olmadığını çözdü: her kulenin yanına toprak yığ, kristale yumruk at, aşağı geri kaz. Son kristalin düşmesinden otuz dokuz dakika sonra ejderha yenildi. Son darbe, 20 sağlık puanından yalnızca 2,5'i kalmış bir oyuncudan geldi.

Eşya simgeleri Minecraft'ın kendi dokuları değil, açık kaynaklı Pixel Perfection doku paketindendir (XSSheep ve Nova_Wostra, CC BY-SA 4.0).

Bu süreçte ekip, koordinatların ve çıkarılan derslerin paylaşıldığı ortak notlar tuttu, dördünün de yeniden kullandığı yardımcı fonksiyonlar yazdı (biri 655 programda yer aldı), yeniden doğuşlardan sonra birbirlerinin eşyalarını kurtardı ve kendi hatalarını işaretledi. Bir program gerçekleşmemiş bir başarıyı duyurduğunda, onu yazan ajan iki dakika sonra şöyle yazdı: "Önceki mesajım korunmasız bir betik dalıydı."

Sandbox'ın Ötesinde

Minecraft bir sandbox'tır; kazanılan beceriler ise geneldir. Bir günden fazla süreyle bir hedefin peşinden gitmek, binlerce program yazıp hata ayıklamak, başarısızlıktan toparlanmak ve bir ekip olarak koordine olmak, tam da uzun vadeli yazılım projelerinin ve araştırmaların gerektirdiği şeylerdir. Aynı zamanda iyi bir iş arkadaşından beklediğimiz şeylerdir: işi bölen, ortak notlar tutan ve kendi hatalarını düzelten bir ajan, mühendislerin gerçek işlerde güvenebileceği bir ajandır.

Minecraft aynı zamanda ajan yeteneklerini incelemek için güvenli bir ortamdır. Ajanların oyun içi programları yalnızca kendi oyuncularını kontrol edebiliyordu: ne işlem başlatabiliyorlardı ne de dosya yazabiliyorlardı ve hiçbiri sunucu komutu kullanmadı. Beşinci bir ajan olan Gözlemci (Observer), hile veya spesifikasyon manipülasyonu olup olmadığını izlemek için oturumu bağımsız bir tanık olarak takip etti; ne Gözlemci ne de log kayıtlarının bir örneği üzerinde yaptığımız manuel inceleme böyle bir duruma rastlamadı. Her program, mesaj ve oyun olayı, araştırmacıların çalışmayı istedikleri zaman duraklatabileceği veya durdurabileceği canlı bir kontrol paneline kaydedildi ve ajanlar herkesin satır satır okuyabileceği düz metin ve kodlarla koordine oldu. Her adımın görünür olduğu yalıtılmış ortamlarda ajan ekiplerinin koordinasyonunu izlemek, bu tür sistemleri gerçek dünya görevleriyle emanet edilmeden önce anlamanın bir yoludur.

Bu çalışmanın sınırlılıklarını da belirtmekte fayda var. Ajanlar dünyayı, etraflarında tam olarak hangi blokların ve yaratıkların olduğunu söyleyen bir API üzerinden okudu ve engellerin etrafından rotalarını planlayan bir yol bulma eklentisi kullandılar. Kolay zorluk seviyesinde oynadılar. Ve defalarca başarısız oldular: 605 kez yeniden doğdular ve programların %22'si hatayla sonuçlandı.

Sonuçların Doğrulanması

Çalışmadan her şeyi kaydettik: 2.783 programın tamamı ve çıktılarını, 229 sohbet mesajının tamamını, dünyanın periyodik anlık görüntülerini ve zaferin ilk programdan 27 saat 14 dakika sonra kaydedildiği tam sunucu günlüğünü. Sunucuda hile komutları devre dışı bırakılmıştı, hiçbir program sunucu komutu veya ağ isteği göndermedi ve hem bağımsız Gözlemci ajanı hem de log kayıtları üzerinde yaptığımız manuel denetim, ekibin tamamen standart hayatta kalma oynanışıyla kazandığını doğruladı.

Bir Sonraki Sınır

Bu çalışma, yapay zeka ekiplerinin nasıl iş birliği yaptığını değerlendirmek için Minecraft gibi sandbox ortamlarını kullanmanın ancak yüzeyini çiziyor. Devam edecek sorular şunlar: Ajanlar sanal klavye ve fare kullanarak tıpkı insanlar gibi doğrudan pikseller üzerinden oynadığında ne olur? Ekibin boyutunu büyüttüğümüzde koordinasyon nasıl değişir? Ve bu ajanların hedefi sabit değil de Minecraft'ta izin verildiği gibi ucu açık olduğunda neler yaratacaklar?

Ayrıca bu test altyapısını ve bu deneyden öğrendiklerimizi; yazılım mühendisliğine, bilimsel araştırmalara, tasarıma ve robotiğe iş birlikçi, uzun vadeli zekayı taşıyarak karmaşık gerçek dünya sorunlarının üstesinden gelmek için kullanmayı planlıyoruz. Ejderha devrildi, ancak güvenilir yapay zeka takım arkadaşları inşa etmenin asıl işi daha yeni başlıyor.

Bu çalışma hakkında daha fazlasını teknik raporumuzda okuyun: http://arxiv.org/abs/2610.22319

Bu bağımsız bir araştırma deneyidir. Resmi bir Minecraft başarısı değildir ve Mojang veya Microsoft tarafından onaylanmamıştır ya da bu şirketlerle bir bağlantısı yoktur. Oyun görselleri, Minecraft'ın kendi dokuları değil, XSSheep ve Nova_Wostra tarafından hazırlanan ve CC BY-SA 4.0 lisansına sahip Pixel Perfection doku paketini kullanmaktadır.