Команда агентов Gemini 4 Argon побеждает в Minecraft

Мы поместили четырёх агентов Gemini 4 Argon в безопасную изолированную песочницу — мир Minecraft в режиме выживания — и поставили им одну цель: победить Эндер-дракона, финального босса игры. Это были наши универсальные агенты для написания кода — те самые, которыми инженеры пользуются в повседневной разработке ПО, а не специализированная система, созданная под Minecraft. Работая в защищённой среде, где исследователи следили за происходящим на панели мониторинга в реальном времени и могли в любой момент вмешаться, чтобы приостановить или остановить процесс, каждый агент управлял персонажем через библиотеку с открытым исходным кодом и координировал действия с товарищами по команде через игровой чат и общую память. Никто не распределял между ними роли и не писал для них игровую логику: агенты сами планировали, писали и отлаживали каждую программу.

Спустя двадцать семь часов и 2783 программы они победили дракона.

Почему это важно? Чтобы пройти Minecraft, нужно больше суток удерживать связный план, состоящий из тысяч взаимозависимых шагов. Успешно взаимодействуя друг с другом, восстанавливаясь после череды неудач и двигаясь к общей цели без вмешательства человека, эти агенты доказали, что способны решать долгосрочные задачи с открытыми условиями — именно то, что требуется для сложной разработки ПО и исследовательской работы. Мы планируем использовать полученные знания и этот инструментарий для развития других направлений: программирования, науки, инженерии и робототехники.

Большой вызов Minecraft

Прохождение Minecraft в случайно сгенерированном мире требует длинной цепочки зависимых действий: добыча базовых материалов, выживание в опасных альтернативных измерениях ради редких предметов, использование математики для поиска скрытой подземной крепости и, наконец, битва с боссом, который постоянно исцеляет себя. Каждый этап может занимать часы, а при возрождении всё, что было с собой, теряется. Для агента главная сложность заключается не столько в каком-то отдельном шаге, сколько в том, чтобы сохранить целостность плана на протяжении тысяч таких шагов.

Прежние игровые прорывы — от AlphaGo до AlphaStar — совершали системы, которые долго обучались на одной конкретной игре, и большинство агентов для Minecraft тоже опиралось на специфичное для игры обучение, библиотеки навыков или планировщики. Недавно проекты сообщества показали, что один агент на базе языковой модели способен добраться до дракона. Однако такие прохождения строились на жёстких ограничениях и упрощениях: игра в мирном режиме (Peaceful) в заранее разведанном мире с уже открытым порталом или выдача одному агенту десятков инструментов для Minecraft, запрограммированных людьми.

Мы хотели задать другой вопрос. Как и другие большие языковые модели, Argon прочитал в интернете немало о Minecraft. Сможет ли команда универсальных агентов для написания кода взять эти знания и, используя лишь базовый программный интерфейс — без специфичных для игры инструментов, подсказок, управления со стороны человека и заранее распределённых ролей, — самоорганизоваться, чтобы с нуля победить Эндер-дракона в случайном мире на выживание?

Совместное написание кода в действии

Агенты не видели ни одного пикселя и не нажимали ни одной клавиши. Каждый из них действовал, написав короткую программу, например: «дойти до этих координат и добыть всю железную руду в радиусе 16 блоков». Они также читали результат выполнения программы, включая обновлённые координаты, здоровье и инвентарь агента либо возникшую ошибку. В отличие от предыдущих попыток сообщества, они начинали в случайном мире на сложности Easy, с враждебными монстрами, и использовали стандартную библиотеку Mineflayer в её опубликованном виде — мы ничего над ней не надстраивали. Mineflayer позволяет программе считывать позицию, здоровье, инвентарь и окружение игрока, а также отдавать базовые команды: дойти до точки, выкопать или поставить блок, создать предмет или атаковать. Mineflayer не указывает агенту, как играть: что делать и в каком порядке, агенты решали сами.

Через десять минут агенты уже распределили задачи в чате: один делал инструменты, второй собирал еду, третий копал алмазы, а четвёртый строил портал во второе измерение игры. Чтобы найти скрытую крепость, один из агентов бросил два предмета, полетевших в её сторону из разных точек, отследил каждую траекторию в коде и вычислил место их пересечения. Его оценка оказалась в 43 метрах от крепости, находившейся на расстоянии 1,3 километра.

Иконки предметов взяты из набора текстур Pixel Perfection с открытым исходным кодом (XSSheep и Nova_Wostra, CC BY-SA 4.0), а не из самого Minecraft.

Победа над драконом стала самым сложным и долгим испытанием в игре: агентам пришлось возрождаться 69 раз. Между попытками они записывали выводы для следующего раза. В итоге один из агентов заметил, что кристаллы исцеляют дракона, и понял, что кирка, чтобы до них добраться, не нужна: достаточно поставить столб земли рядом с каждой башней, ударить кристалл и спуститься обратно. Через тридцать девять минут после уничтожения последнего кристалла дракон был повержен. Финальный удар нанёс игрок, у которого оставалось 2,5 единицы здоровья из 20.

Иконки предметов взяты из набора текстур Pixel Perfection с открытым исходным кодом (XSSheep и Nova_Wostra, CC BY-SA 4.0), а не из самого Minecraft.

По ходу дела команда вела общие заметки с координатами и выводами, писала вспомогательные функции, которыми пользовались все четверо (одна из них встречается в 655 программах), подбирала вещи друг друга после возрождений и отмечала собственные ошибки. Когда программа сообщила об успехе, которого на самом деле не было, написавший её агент спустя две минуты уточнил: «Моё предыдущее сообщение было необработанной веткой скрипта».

За пределами песочницы

Minecraft — это песочница, а навыки — универсальные. Движение к цели дольше суток, написание и отладка тысяч программ, восстановление после неудач и командная координация — это ровно то, чего требуют долгосрочные проекты по разработке ПО и научные исследования. И это же мы ждём от хорошего коллеги: агенту, который умеет разделять работу, вести общие заметки и исправлять собственные ошибки, инженеры могут доверить реальные задачи.

Кроме того, Minecraft — безопасная среда для изучения возможностей агентов. Внутриигровые программы агентов могли управлять только собственным персонажем: они не запускали процессы, не записывали файлы, и никто из них не использовал серверные команды. Пятый агент, Наблюдатель, следил за сессией как независимый свидетель, чтобы выявить жульничество или игру на формальностях (specification gaming); ни Наблюдатель, ни наша ручная проверка выборки логов ничего подобного не обнаружили. Каждая программа, сообщение и игровое событие фиксировались на панели мониторинга в реальном времени, где исследователи могли в любой момент приостановить или остановить процесс, а агенты координировались простым текстом и кодом, которые любой мог прочитать строка за строкой. Наблюдение за тем, как команды агентов взаимодействуют в изолированных средах, где виден каждый шаг, — один из способов понять такие системы, прежде чем доверять им реальные задачи.

Стоит отметить и ограничения этого исследования. Агенты воспринимали мир через API, который точно сообщает им, какие блоки и существа находятся вокруг, а плагин для поиска пути прокладывал маршруты в обход препятствий. Они играли на сложности Easy. И они постоянно ошибались: 605 возрождений и 22% программ завершились с ошибкой.

Проверка результатов

Мы записали всё, что происходило во время эксперимента: все 2783 программы и их результаты, все 229 сообщений в чате, периодические снимки состояния мира и полный лог сервера, где победа зафиксирована через 27 часов 14 минут после запуска первой программы. Чит-команды на сервере были отключены, ни одна программа не отправляла серверных команд или сетевых запросов, и как независимый агент-Наблюдатель, так и наш ручной аудит логов подтвердили, что команда победила исключительно средствами стандартного режима выживания.

Следующий рубеж

Это исследование лишь слегка приоткрывает завесу над тем, как можно использовать изолированные среды вроде Minecraft для оценки совместной работы команд ИИ. Вот вопросы для дальнейших исследований: что произойдёт, если агенты будут играть напрямую, как люди, ориентируясь по пикселям с помощью виртуальной клавиатуры и мыши? Как изменится координация, если увеличить размер команды? И что создадут эти агенты, когда их цель будет открытой, как это допускает Minecraft, а не строго заданной?

Мы также планируем применить этот инструментарий и уроки, извлечённые из эксперимента, для решения сложных реальных задач, привнося способность к сотрудничеству и долгосрочному планированию в разработку ПО, научные исследования, дизайн и робототехнику. Дракон повержен, но настоящая работа по созданию надёжных ИИ-напарников только начинается.

Подробнее об этой работе читайте в нашем техническом отчёте: http://arxiv.org/abs/2610.22319

Это независимый исследовательский эксперимент. Он не является официальным достижением в Minecraft, не одобрен Mojang или Microsoft и никак с ними не связан. Изображения из игры используют набор текстур Pixel Perfection от XSSheep и Nova_Wostra, распространяемый по лицензии CC BY-SA 4.0, а не оригинальные текстуры Minecraft.