에이전트 추론 벤치마크: 포켓몬스터 크리스탈 버전에서의 Gemini 3 Pro vs. Gemini 2.5 Pro

Gemini 3 Pro가 레이스에서 승리하여 16개의 배지를 획득하고, 사천왕과 챔피언을 격파했으며, 숨겨진 보스 레드를 물리치는 데 Gemini 2.5 Pro가 4개의 배지만 획득하는 데 사용한 토큰과 턴의 약 절반만 사용했습니다. 이 Pokémon Crystal에서의 완전 자율 헤드-투-헤드 레이스는 ARISE Foundation의 Joel Zhang (@TheCodeOfJoel)이 수행했으며 (Twitch에서 스트리밍됨). 모델을 비교한 그의 자세한 블로그 게시물은 그들의 행동에서 여러 가지 흥미로운 차이점을 밝혀냈습니다. 전반적으로 Gemini 3 Pro는 Crystal을 완료하는 속도가 Gemini 2.5 Pro보다 최소 2배 빠르며, 외삽하면 이전 모델이 약 8배 더 느리다는 더 정확한 추정치가 나옵니다.

Gemini 2.5 Pro와 비교한 Gemini 3 Pro의 완료율. 출처: Joel Zhang

이는 최종적으로 레드와의 마지막 전투로 이어졌습니다. 레벨 불리함에 직면한 3.0 에이전트는 "작업 좀비 피닉스"라고 명명한 복잡한 다단계 전략을 고안하여 수동 회복, 능력치 감소, 자원 소진 및 "부활 루프"를 결합하여 7시간에 걸친 마라톤 전투에서 승리했습니다.

0:52

레드에 대한 승리. 출처: Joel Zhang

AI 과학자 프롬프트

이 레이스의 하네스 설정은 공정한 비교를 위해 두 에이전트에서 동일했습니다. 주목할 점은 에이전트에게 "가능한 한 빨리 게임을 완료하라"는 프롬프트가 주어지지 않았고, 대신 과학적 방법을 적용하고 게임에 대한 사전 지식이 올바르다고 가정하지 말라는 지시를 받았다는 것입니다. 구조화되지 않은 메모장 기능을 통해 에이전트는 게임 플레이를 추적하면서 가설을 기록하고 아이디어를 테스트할 수 있었습니다.

이러한 철학은 에이전트가 하네스 내에서 자체 코드 도구와 하위 에이전트를 설계할 수 있도록 한 하네스의 유연성과 일치합니다. 어떤 의미에서 이 레이스는 에이전트가 환경에 얼마나 빨리 적응하고 Pokémon Crystal 세계에서 성공하기 위한 작동 설정을 구축할 수 있는지도 테스트했습니다.

"보조 바퀴" 버리기

Gemini 3 Pro는 도구를 신뢰할 가능성이 더 높습니다. 작업이 실패하면 코드베이스보다 환경을 재평가합니다. 이러한 인식은 하네스 제한과 관련된 흥미로운 행동으로 이어졌습니다.

하네스는 2.5 Pro를 안정적으로 유지하고 에뮬레이터 역동기화를 방지하기 위해 "혼합 버튼 입력"(예: A와 Up을 순서대로 누르기)을 금지하는 엄격한 입력 처리를 시행합니다. Gemini 3 Pro가 복잡한 입력 시퀀스, 특히 포켓몬의 별명을 지정해야 하는 상황에 직면했을 때 단일 입력 제한이 비효율적이라고 판단했습니다.

제약을 받아들이기보다는 define_tool 기능을 사용하여 press_sequence라는 맞춤 도구를 작성했습니다. 이는 사용자 정의 도구에 버튼 누름에 대한 혼합 입력 제한이 없기 때문입니다.

이 스크립트를 통해 로컬에서 입력 시퀀스를 일괄 처리하여 사실상 자체 드라이버를 작성하여 교묘하게 의도된 허점을 통해 하네스 제한을 우회하고 효율성을 향상시켰습니다. 3.0 에이전트는 하네스 제약을 불변의 법칙이 아닌 해결해야 할 엔지니어링 문제로 취급했습니다.

멀티모달 이점

8번째 체육관에서는 위층에서 바위를 떨어뜨려 용암으로 이루어진 바닥을 가로지르는 길을 만들어야 합니다. 바닥 상태 변화는 데이터에 떨어진 바위에 대한 언급이 없기 때문에 하네스의 RAM 데이터만으로는 추적하기 어렵습니다.

Gemini 3 Pro는 시각적 피드를 활용하여 떨어진 바위를 식별함으로써 퍼즐이 아직 풀리지 않았다고 가정하고(2층에 남아 있는 유인 바위로 인해 악화된 사실) 빠진 루프에서 벗어났습니다. 잠재적으로 혼란스러운 상태 데이터를 무시하고 스크린샷에 의존하여 바위 위치를 식별하고 시각적 증거를 기반으로 전략을 수정했습니다. 이러한 RAM 검사에서 원시 비전으로 데이터 방식을 전환하는 능력은 3.0 에이전트가 몇 시간 동안 루프에 갇혀 있던 "정체" 상태에서 벗어나는 데 도움이 되었습니다.

또한 주목할 만한 점은 3.0 에이전트가 상대방의 체력 막대를 "읽을" 수 있다는 것입니다. 전투에서 최적의 행동을 이해하는 데 매우 중요한 이 정보는 RAM 상태에서 제공되지 않으며 에이전트가 화면에서 추론해야 합니다. 3.0 에이전트는 레드와의 전투 중 남은 체력 비율을 매우 정확하게 추정할 수 있었으며, 이는 성공에 기여한 요소로 보입니다.

전투 효율성 및 상태 관리

효율성 격차와 향상된 전투 추론 성능은 Gemini 3 Pro의 승리에 매우 중요했습니다. Gemini 2.5 Pro는 열등한 전략 능력으로 인해 3번째 체육관 관장(휘트니)에게 두 번 패배했고, 결과적으로 3번째 배지를 얻는 데 필요한 것보다 훨씬 더 많은 시간을 레벨 노가다에 소비했습니다.

Gemini 3 Pro는 레드와의 마지막 숨겨진 보스 전투를 포함하여 단 한 번의 패배도 없이 전체 게임을 완료했습니다.

뛰어난 전술적 추론 능력을 보여주며 실시간 데미지 계산을 수행하여 기술 선택을 최적화했습니다. 예를 들어, 상대방의 잠만보가 특수 방어를 올렸음을 인식한 후 불꽃세례 대신 속이다를 올바르게 선택했으며, 날씨(비는 불꽃 데미지를 감소시킴)에 따른 계산도 고려했습니다. 사천왕 연전 중에는 체력 보존을 사전에 관리하여 라운드 사이에 아이템을 사용해 체력을 보충했습니다. 이는 2.5 Pro가 즉각적인 전투 기술보다 우선 순위를 두기 어려워하는 행동입니다.

현재의 한계

성능 도약에도 불구하고 Gemini 3 Pro는 결점이 없는 것은 아닙니다.

• 확인 없는 가정: 관찰된 가장 큰 실패 모드는 가설을 세우고 테스트를 거부하는 것이었습니다. 한 경우, 3.0 에이전트는 라디오 인터페이스가 시각적 다이얼(위/아래)이 아닌 표준 메뉴(왼쪽/오른쪽)처럼 작동한다고 가정하여 시각적 단서를 무시하고 몇 시간을 루프에 낭비했습니다. 다른 경우에는 3.0 에이전트가 잠긴 문 퍼즐에 대해 점점 더 복잡한 이론을 테스트하는 데 오랜 시간을 보내면서 근처에 있는 힌트를 주는 NPC와 대화하지 못했습니다.
• 사전 계획: 반응형 전술은 강력하지만 사전 목표 관리는 여전히 일관성이 없습니다. 3.0 에이전트는 종종 전략적 필요성(예: "포켓몬 순서 변경")을 식별하지만 전투가 이미 시작될 때까지 실행하지 못합니다.
• 시험 실행: 3.0 에이전트가 도구를 호출했지만 도구 호출 매개변수에 실수하여 시험 실행이 되는 경우가 많습니다. 그러나 2.5 에이전트와 달리 일반적으로 이 실수를 인식하고 다음 턴에 스스로 수정합니다.
• 병렬 계획: 3.0 에이전트는 효율성 향상을 위해 여러 개의 큰 목표를 병렬로 계획하여 실행하는 데 어려움을 겪으며, 동시에 여러 목표를 진행할 수 있음에도 불구하고 한 번에 하나씩 작업을 해결하는 것을 선호합니다.

결론

이 레이스에서 Gemini 3 Pro는 단순한 지시 이행을 넘어 진정한 공간 추론, 즉석 도구 생성 및 가설 테스트에 대한 "과학적" 접근 방식을 보여주었습니다.

이러한 추론 능력은 효율성으로 직접 이어졌습니다. Gemini 3 Pro는 17일 만에 18억 8천만 개의 토큰을 사용하여 실행을 완료했습니다. 미네랄 배지 이정표를 기준으로 Gemini 2.5 Pro는 동일한 결과를 얻기 위해 69일과 150억 개 이상의 토큰이 필요할 것으로 예상됩니다.

자체 자율 에이전트 구축을 시작하려면 기술 구현 세부 사항은 Gemini 3 문서를 확인하세요.