Đánh giá khả năng suy luận của tác nhân: Gemini 3 Pro so với Gemini 2.5 Pro trong Pokémon Crystal

Gemini 3 Pro là người chiến thắng trong cuộc đua, giành được 16 huy hiệu, đánh bại Elite Four và Champion, và đánh bại boss ẩn Red trong khoảng một nửa số token và lượt đi mà Gemini 2.5 Pro cần chỉ để có được bốn huy hiệu. Cuộc đua đối đầu hoàn toàn tự động này trong Pokémon Crystal được thực hiện bởi Joel Zhang (@TheCodeOfJoel) thuộc ARISE Foundation (và được phát trực tiếp trên Twitch). Bài đăng blog chi tiết của anh ấy so sánh các mô hình đã tiết lộ nhiều điểm khác biệt thú vị trong hành vi của chúng; nhìn chung, Gemini 3 Pro hoàn thành Crystal nhanh hơn ít nhất 2 lần so với Gemini 2.5 Pro, và nếu ngoại suy, một ước tính chính xác hơn cho thấy mô hình cũ hơn chậm hơn khoảng 8 lần.

Tốc độ hoàn thành của Gemini 3 Pro so với Gemini 2.5 Pro. Nguồn: Joel Zhang

Điều này lên đến đỉnh điểm trong trận chiến cuối cùng chống lại Red. Đối mặt với bất lợi về cấp độ, tác nhân 3.0 đã nghĩ ra một chiến lược phức tạp, nhiều giai đoạn mà nó gọi là "Operation Zombie Phoenix", kết hợp hồi phục thụ động, giảm chỉ số, cạn kiệt tài nguyên và "vòng lặp hồi sinh" để giành chiến thắng trong trận chiến kéo dài 7 giờ.

0:52

Chiến thắng trước Red. Nguồn: Joel Zhang

Một prompt về nhà khoa học AI

Thiết lập harness cho cuộc đua này là giống hệt nhau giữa hai tác nhân để đảm bảo so sánh công bằng. Đáng chú ý, các tác nhân không được hướng dẫn để "hoàn thành trò chơi càng nhanh càng tốt", mà là áp dụng phương pháp khoa học và không cho rằng kiến thức trước đây của chúng về trò chơi là đúng. Chức năng notepad phi cấu trúc cho phép các tác nhân ghi lại giả thuyết và thử nghiệm ý tưởng, đồng thời theo dõi quá trình chơi game của chúng.

Triết lý này phù hợp với tính linh hoạt của harness cho phép các tác nhân thiết kế công cụ mã và tác nhân phụ của riêng chúng trong harness. Theo một nghĩa nào đó, cuộc đua này cũng kiểm tra tốc độ thích nghi với môi trường và xây dựng thiết lập hoạt động để thành công trong thế giới Pokémon Crystal của các tác nhân.

Loại bỏ "bánh xe tập đi"

Gemini 3 Pro thể hiện khả năng tin tưởng vào các công cụ của mình cao hơn. Khi một hành động thất bại, nó đánh giá lại môi trường thay vì codebase. Nhận thức này dẫn đến một hành vi thú vị liên quan đến các hạn chế của harness.

Harness thực thi xử lý đầu vào nghiêm ngặt, cấm "đầu vào nút hỗn hợp" (ví dụ: nhấn A và Up theo trình tự) để giữ cho 2.5 Pro ổn định và ngăn ngừa mất đồng bộ trình giả lập. Khi Gemini 3 Pro gặp tình huống yêu cầu chuỗi đầu vào phức tạp—cụ thể là đặt biệt danh cho Pokémon—nó thấy hạn chế nhấn một nút là không hiệu quả.

Thay vì chấp nhận ràng buộc, nó đã sử dụng khả năng define_tool để viết một công cụ tùy chỉnh gọi là press_sequence, vì các công cụ tùy chỉnh không có hạn chế đầu vào hỗn hợp cho các lần nhấn nút.

Script này cho phép nó xử lý hàng loạt chuỗi đầu vào cục bộ, về cơ bản là viết trình điều khiển riêng để vượt qua các hạn chế của harness nhằm cải thiện hiệu quả thông qua lỗ hổng thông minh có chủ đích. Tác nhân 3.0 coi các ràng buộc của harness như những vấn đề kỹ thuật cần giải quyết, chứ không phải luật bất di bất dịch.

Lợi thế đa phương thức

Trong Nhà Tập 8, giải pháp yêu cầu thả đá tảng từ tầng trên xuống để vạch ra một con đường băng qua tầng làm bằng dung nham. Sự thay đổi trạng thái cho tầng dưới rất khó theo dõi chỉ dựa trên dữ liệu RAM từ harness vì không có đề cập đến đá rơi trong dữ liệu.

Gemini 3 Pro đã sử dụng nguồn cấp dữ liệu hình ảnh để xác định các tảng đá rơi nhằm thoát khỏi vòng lặp mà nó đã rơi vào, cho rằng câu đố chưa được giải (một thực tế càng trở nên trầm trọng hơn do các tảng đá mồi vẫn còn ở tầng thứ hai). Nó bỏ qua dữ liệu trạng thái có thể gây nhầm lẫn và dựa vào ảnh chụp màn hình để xác định vị trí các tảng đá, điều chỉnh chiến lược của mình dựa trên bằng chứng trực quan. Khả năng chuyển đổi phương thức dữ liệu này—từ kiểm tra RAM sang thị giác thô—đã giúp tác nhân 3.0 thoát khỏi trạng thái "kẹt" đã khiến nó lặp đi lặp lại hàng giờ.

Cũng đáng chú ý là khả năng "đọc" thanh máu của đối thủ của tác nhân 3.0. Thông tin này, cực kỳ quan trọng để hiểu được nước đi tối ưu trong trận chiến, không được cung cấp bởi trạng thái RAM và phải được tác nhân suy luận từ màn hình. Tác nhân 3.0 đã có thể ước tính khá chính xác phần máu còn lại trong trận chiến với Red, một yếu tố có khả năng góp phần vào thành công của nó.

Hiệu quả chiến đấu và quản lý trạng thái

Khoảng cách về hiệu quả và hiệu suất lý luận chiến đấu được cải thiện cực kỳ đáng kể trong chiến thắng của Gemini 3 Pro. Gemini 2.5 Pro đã thua hai lần trước trưởng Nhà Tập 3 (Whitney) do khả năng lập chiến lược kém hơn và kết quả là đã dành quá nhiều thời gian để cày cấp vượt xa mức cần thiết để có được huy hiệu thứ 3.

Gemini 3 Pro đã hoàn thành toàn bộ trò chơi, bao gồm cả trận chiến boss ẩn cuối cùng với Red, mà không thua một lần nào.

Nó thể hiện khả năng lý luận chiến thuật vượt trội, thực hiện tính toán sát thương trực tiếp để tối ưu hóa lựa chọn nước đi. Ví dụ, nó đã chọn đúng Swift thay vì Flamethrower sau khi nhận ra rằng Snorlax của đối thủ đã tăng Special Defense, và cũng tính toán dựa trên thời tiết (mưa làm giảm sát thương hệ Lửa). Trong chuỗi trận Elite Four, nó chủ động quản lý điểm HP, sử dụng vật phẩm để phục hồi máu giữa các vòng—hành vi mà 2.5 Pro thường gặp khó khăn trong việc ưu tiên hơn các nước đi chiến đấu trước mắt.

Hạn chế hiện tại

Mặc dù có bước nhảy vọt về hiệu suất, Gemini 3 Pro không phải không có sai sót.

• Giả định mà không xác minh: Chế độ thất bại lớn nhất được quan sát là hình thành giả thuyết và từ chối kiểm tra nó. Trong một trường hợp, tác nhân 3.0 cho rằng giao diện radio hoạt động như một menu tiêu chuẩn (Trái/Phải) thay vì một nút xoay trực quan (Lên/Xuống), bỏ qua các tín hiệu trực quan và lãng phí hàng giờ trong một vòng lặp. Trong một trường hợp khác, tác nhân 3.0 đã dành nhiều thời gian để kiểm tra các lý thuyết ngày càng phức tạp về một câu đố cánh cửa bị khóa, không chịu nói chuyện với các NPC gợi ý gần đó.
• Lập kế hoạch chủ động: Trong khi các chiến thuật phản ứng rất mạnh, quản lý mục tiêu chủ động vẫn không nhất quán. Tác nhân 3.0 thường xác định nhu cầu chiến lược (ví dụ: "đổi thứ tự Pokémon") nhưng không thực hiện được cho đến khi trận chiến đã bắt đầu.
• Chạy thử khô: Có nhiều trường hợp tác nhân 3.0 gọi một công cụ nhưng mắc lỗi với tham số gọi công cụ, dẫn đến một lần chạy thử khô. Tuy nhiên, không giống như tác nhân 2.5, nó thường nhận ra lỗi này và tự sửa trong lượt tiếp theo.
• Lập kế hoạch song song: Tác nhân 3.0 gặp khó khăn khi lập kế hoạch thực hiện nhiều mục tiêu lớn song song để tăng hiệu quả, thay vào đó thích giải quyết từng nhiệm vụ một, ngay cả khi có thể tiến triển đồng thời nhiều mục tiêu.

Kết luận

Trong cuộc đua này, Gemini 3 Pro đã vượt ra ngoài việc chỉ làm theo hướng dẫn đơn giản và thể hiện khả năng suy luận không gian thực sự, tạo công cụ tùy cơ ứng biến và cách tiếp cận "khoa học" để kiểm tra giả thuyết.

Khả năng suy luận này đã chuyển trực tiếp thành hiệu quả. Gemini 3 Pro đã hoàn thành cuộc chạy trong 17 ngày với 1.88 tỷ token. Dựa trên cột mốc Mineral Badge, Gemini 2.5 Pro được dự đoán sẽ cần 69 ngày và hơn 15 tỷ token để đạt được kết quả tương tự.

Để bắt đầu xây dựng các tác nhân tự động của riêng bạn, hãy xem tài liệu Gemini 3 để biết chi tiết triển khai kỹ thuật.