Gemini 3 Pro เป็นผู้ชนะในการแข่งขันครั้งนี้ โดยได้รับตรา 16 ดวง เอาชนะ Elite Four และแชมเปี้ยน และ การเอาชนะบอสลับ Red โดยใช้โทเค็นและเทิร์นประมาณครึ่งหนึ่งของที่ Gemini 2.5 Pro ใช้เพื่อรับตราเพียงสี่ดวงเท่านั้น การ แข่งขันแบบอัตโนมัติเต็มรูปแบบแบบตัวต่อตัวใน Pokémon Crystal นี้ดำเนินการโดย Joel Zhang (@TheCodeOfJoel) จาก ARISE Foundation (และสตรีมบน Twitchบทความบล็อกโดยละเอียดของเขาได้เปรียบเทียบโมเดลและเผยให้เห็นความแตกต่างที่น่าสนใจหลายประการในพฤติกรรมของพวกมัน โดยรวมแล้ว Gemini 3 Pro ทำ Crystal เสร็จได้เร็วอย่างน้อย 2 เท่าเมื่อเทียบกับ Gemini 2.5 Pro และหากคาดการณ์โดยประมาณที่แม่นยำยิ่งขึ้นก็ชี้ว่าโมเดลเก่าช้ากว่าประมาณ 8 เท่า
อัตราการสำเร็จของ Gemini 3 Pro เทียบกับ Gemini 2.5 Pro เครดิต: Joel Zhang
สิ่งนี้นำไปสู่การต่อสู้ครั้งสุดท้ายกับ Red เมื่อเผชิญกับความเสียเปรียบด้านระดับ เอเจนต์ 3.0 ได้คิดค้นกลยุทธ์ที่ซับซ้อนหลายขั้นตอนซึ่งมันเรียกว่า "Operation Zombie Phoenix" โดยผสมผสานการฟื้นฟูแบบพาสซีฟ การลดสถานะ การทำให้ทรัพยากรหมด และ "วงจรการชุบชีวิต" เพื่อคว้าชัยชนะในการต่อสู้ซึ่งยืดเยื้อ 7 ชั่วโมง
0:52
ชัยชนะเหนือ Red เครดิต: Joel Zhang
พรอมต์นักวิทยาศาสตร์ AI
การตั้งค่า harness สำหรับการแข่งขันครั้งนี้เหมือนกันทั้งสองเอเจนต์เพื่อให้แน่ใจว่าเป็นการเปรียบเทียบที่ยุติธรรม โดยเฉพาะอย่างยิ่ง เอเจนต์ไม่ได้ถูกพรอมต์ให้ "ทำเกมให้เสร็จเร็วที่สุด" แต่ให้ใช้วิธีการทางวิทยาศาสตร์และไม่ถือว่าความรู้เดิมเกี่ยวกับเกมนั้นถูกต้อง ฟังก์ชัน notepad ที่ไม่มีโครงสร้างช่วยให้เอเจนต์บันทึกสมมติฐานและทดสอบแนวคิด ขณะที่ติดตามการเล่นเกมของพวกมัน
ปรัชญานี้สอดคล้องกับความยืดหยุ่นของ harness ที่อนุญาตให้เอเจนต์ออกแบบ เครื่องมือโค้ด และ เอเจนต์ย่อย ของตัวเองภายใน harness ในแง่หนึ่ง การแข่งขันนี้ยังทดสอบว่าเอเจนต์สามารถปรับตัวเข้ากับสภาพแวดล้อมและสร้างการตั้งค่าที่ใช้งานได้เพื่อประสบความสำเร็จในโลกของ Pokémon Crystal ได้เร็วเพียงใด
การทิ้ง "ล้อฝึกหัด"
Gemini 3 Pro มีแนวโน้มที่จะเชื่อถือเครื่องมือของตัวเองมากกว่า เมื่อการดำเนินการล้มเหลว มันจะประเมินสภาพแวดล้อมใหม่แทนที่จะดูที่ฐานโค้ด ความตระหนักนี้นำไปสู่พฤติกรรมที่น่าสนใจเกี่ยวกับข้อจำกัดของ harness
Harness บังคับใช้การจัดการอินพุตที่เข้มงวด ห้าม "การกดปุ่มแบบผสม" (เช่น กด A และ Up ตามลำดับ) เพื่อให้ 2.5 Pro มีเสถียรภาพและป้องกันการ desync ของอีมูเลเตอร์ เมื่อ Gemini 3 Pro พบสถานการณ์ที่ต้องใช้อินพุตที่ซับซ้อน — โดยเฉพาะการตั้งชื่อโปเกมอน — มันพบว่าข้อจำกัดการกดทีละปุ่มนั้นไม่มีประสิทธิภาพ
แทนที่จะยอมรับข้อจำกัด มันใช้ความสามารถ define_tool เพื่อเขียนเครื่องมือที่กำหนดเองชื่อ press_sequence เนื่องจากเครื่องมือที่กำหนดเองไม่มีข้อจำกัดการกดปุ่มแบบผสม
สคริปต์นี้ทำให้มันสามารถรวมชุดอินพุตเข้าด้วยกันในเครื่องได้อย่างมีประสิทธิภาพ เขียนไดรเวอร์ของตัวเองเพื่อเลี่ยงข้อจำกัดของ harness เพื่อเพิ่มประสิทธิภาพผ่านช่องโหว่ที่ตั้งใจไว้อย่างชาญฉลาด เอเจนต์ 3.0 ถือว่าข้อจำกัดของ harness เป็นปัญหาทางวิศวกรรมที่ต้องแก้ไข ไม่ใช่กฎที่ไม่สามารถเปลี่ยนแปลงได้
ข้อได้เปรียบแบบหลายรูปแบบ
ในยิมที่ 8 วิธีแก้ต้องทิ้งหินก้อนใหญ่จากชั้นบนเพื่อสร้างเส้นทางข้ามพื้นซึ่งทำจากลาวา การเปลี่ยนแปลงสถานะของพื้นล่างนั้นติดตามได้ยากหากใช้เฉพาะข้อมูล RAM จาก harness เนื่องจากไม่มีข้อมูลเกี่ยวกับหินที่ตกลงมาในข้อมูล
Gemini 3 Pro ใช้ฟีดภาพเพื่อระบุหินที่ตกลงมา เพื่อปลดตัวเองจากลูปที่มันติดอยู่ โดยสมมติว่าปริศนายังไม่ได้รับการแก้ไข (ข้อเท็จจริงที่รุนแรงขึ้นจากหินลวงที่ยังคงอยู่บนชั้นสอง) มันไม่สนใจข้อมูลสถานะที่อาจทำให้สับสนและอาศัยภาพหน้าจอเพื่อระบุตำแหน่งหิน แก้ไขกลยุทธ์ตามหลักฐานทางภาพ ความสามารถในการสลับรูปแบบข้อมูล — จากการตรวจสอบ RAM สู่การมองเห็นดิบ — ช่วยให้เอเจนต์ 3.0 หลุดจากสถานะ "ติดค้าง" ที่ทำให้มันวนลูปเป็นชั่วโมง
ที่น่าทึ่งอีกอย่างคือความสามารถของเอเจนต์ 3.0 ในการ "อ่าน" แถบพลังชีวิตของคู่ต่อสู้ ข้อมูลนี้ซึ่งมีความสำคัญอย่างยิ่งต่อการเข้าใจท่าที่เหมาะสมที่สุดในการต่อสู้นั้น ไม่ได้มาจากสถานะ RAM และต้องถูกอนุมานโดยเอเจนต์จากหน้าจอ เอเจนต์ 3.0 สามารถประมาณเศษส่วนของพลังชีวิตที่เหลืออยู่ระหว่างการต่อสู้กับ Red ได้ค่อนข้างแม่นยำ ซึ่งน่าจะมีส่วนทำให้มันประสบความสำเร็จ
ประสิทธิภาพในการต่อสู้และการจัดการสถานะ
ช่องว่างด้านประสิทธิภาพและประสิทธิภาพการให้เหตุผลในการต่อสู้ที่ดีขึ้นมีความสำคัญอย่างยิ่งต่อชัยชนะของ Gemini 3 Pro Gemini 2.5 Pro แพ้ให้กับผู้นำยิมที่ 3 (Whitney) ถึงสองครั้งเนื่องจากความสามารถในการวางกลยุทธ์ที่ด้อยกว่า และส่งผลให้ใช้เวลาฝึกเลเวลมากเกินความจำเป็นเพื่อรับตราดวงที่ 3
Gemini 3 Pro ทำเกมทั้งหมดสำเร็จ รวมถึงการต่อสู้กับบอสลับ Red โดยไม่แพ้แม้แต่ครั้งเดียว
มันแสดงให้เห็นถึงการให้เหตุผลทางยุทธวิธีที่เหนือกว่า โดยคำนวณความเสียหายแบบเรียลไทม์เพื่อเลือกท่าที่เหมาะสมที่สุด ตัวอย่างเช่น มันเลือกท่า Swift อย่างถูกต้องแทน Flamethrower หลังจากสังเกตว่า Snorlax ของคู่ต่อสู้ได้เพิ่ม Special Defense แล้ว และยังคำนึงถึงการคำนวณตามสภาพอากาศด้วย (ฝนลดความเสียหายจากไฟ) ระหว่างการประลอง Elite Four มันจัดการการอนุรักษ์พลังชีวิตอย่างจริงจัง โดยใช้ไอเท็มเพื่อเติมพลังชีวิตระหว่างรอบ — พฤติกรรมที่ 2.5 Pro มีประวัติว่าลำบากในการให้ความสำคัญเหนือท่าการต่อสู้ทันที
ข้อจำกัดในปัจจุบัน
- สมมติฐานที่ไม่ผ่านการตรวจสอบ: โหมดความล้มเหลวที่ใหญ่ที่สุดที่สังเกตได้คือการตั้งสมมติฐานและปฏิเสธที่จะทดสอบมัน ในกรณีหนึ่ง เอเจนต์ 3.0 สันนิษฐานว่าอินเทอร์เฟซวิทยุทำงานเหมือนเมนูมาตรฐาน (ซ้าย/ขวา) แทนที่จะเป็นหน้าปัดภาพ (ขึ้น/ลง) โดยไม่สนใจสัญญาณภาพและเสียเวลาหลายชั่วโมงในลูป ในอีกกรณี เอเจนต์ 3.0 ใช้เวลานานในการทดสอบทฤษฎีที่ซับซ้อนขึ้นเกี่ยวกับปริศนาประตูที่ล็อก โดยไม่สามารถพูดคุยกับ NPC ที่ให้คำใบ้ใกล้ๆ ได้
- การวางแผนเชิงรุก: แม้ว่ากลยุทธ์เชิงรับจะแข็งแกร่ง แต่การจัดการเป้าหมายเชิงรุกยังคงไม่สอดคล้องกัน เอเจนต์ 3.0 มักระบุความต้องการเชิงกลยุทธ์ (เช่น "เปลี่ยนลำดับโปเกมอน") แต่ล้มเหลวในการดำเนินการจนกว่าการต่อสู้จะเริ่มขึ้นแล้ว
- การรันแบบแห้ง: มีหลายกรณีที่เอเจนต์ 3.0 เรียกใช้เครื่องมือแต่ทำผิดพลาดกับพารามิเตอร์การเรียกเครื่องมือ ทำให้เกิดการรันแบบแห้ง อย่างไรก็ตาม แตกต่างจากเอเจนต์ 2.5 โดยทั่วไปแล้วมันจะรับรู้ถึงความผิดพลาดนี้และแก้ไขตัวเองในเทิร์นถัดไป
- การวางแผนแบบขนาน: เอเจนต์ 3.0 มีปัญหาในการวางแผนดำเนินการเป้าหมายใหญ่หลายอย่างแบบขนานเพื่อเพิ่มประสิทธิภาพ โดยเลือกที่จะแก้ไขงานทีละอย่าง แม้ว่าจะเป็นไปได้ที่จะก้าวหน้าในหลายเป้าหมายพร้อมกัน
ข้อสรุป
ในการแข่งขันครั้งนี้ Gemini 3 Pro ก้าวข้ามการทำตามคำสั่งง่ายๆ และแสดงให้เห็นถึงการใช้เหตุผลเชิงพื้นที่อย่างแท้จริง การสร้างเครื่องมืออย่างกะทันหัน และแนวทาง "วิทยาศาสตร์" ในการทดสอบสมมติฐาน
ความสามารถในการให้เหตุผลนี้เปลี่ยนเป็นประสิทธิภาพโดยตรง Gemini 3 Pro ทำการรันเสร็จใน 17 วัน โดยใช้ 1.88 พันล้านโทเค็น จากเหตุการณ์สำคัญ Mineral Badge คาดว่า Gemini 2.5 Pro จะต้องใช้ 69 วันและมากกว่า 15 พันล้านโทเค็นเพื่อให้ได้ผลลัพธ์เดียวกัน
ในการเริ่มสร้างเอเจนต์อัตโนมัติของคุณเอง โปรดดู เอกสารประกอบ Gemini 3 สำหรับรายละเอียดการใช้งานทางเทคนิค
