Команда агентів Gemini 4 Argon перемагає у Minecraft

Ми помістили чотирьох агентів Gemini 4 Argon у безпечне ізольоване середовище (sandbox) світу Minecraft у режимі виживання й поставили їм одну мету: перемогти Дракона Енду, фінального боса гри. Це були наші універсальні агенти для написання коду — ті самі, якими інженери користуються щодня в роботі над програмним забезпеченням, а не спеціалізована система, створена під Minecraft. Працюючи в захищеному середовищі, де дослідники стежили за панеллю моніторингу в реальному часі й могли будь-якої миті призупинити чи зупинити експеримент, кожен агент керував персонажем через бібліотеку з відкритим кодом і координував дії з товаришами по команді через ігровий чат та спільну пам'ять. Ніхто не розподіляв між ними ролі й не писав для них ігрову логіку: агенти самостійно планували, писали та налагоджували кожну програму.

Через двадцять сім годин і 2783 програми вони перемогли дракона.

Чому це важливо? Щоб пройти Minecraft, потрібно понад добу підтримувати цілісний план, що складається з тисяч взаємозалежних кроків. Успішно співпрацюючи, оговтуючись після численних невдач і рухаючись до спільної мети без втручання людини, ці агенти довели, що здатні вирішувати довгострокові відкриті задачі, яких вимагають складна розробка програмного забезпечення та дослідницька робота. Ми плануємо використати ці висновки й отриманий інструментарій для розвитку інших сфер, як-от програмування, наука, інженерія та робототехніка.

Великий виклик Minecraft

Проходження Minecraft у випадково згенерованому світі потребує довгого ланцюжка залежних один від одного кроків: видобуток базових матеріалів, виживання в небезпечних альтернативних вимірах заради рідкісних предметів, використання математики для пошуку прихованої підземної фортеці й, нарешті, перемога над босом, який постійно лікує себе. Кожен етап може тривати годинами, а після відродження ви втрачаєте все, що мали при собі. Для агента найскладніше — не окремий крок, а збереження цілісного плану на тисячах таких кроків.

Попередні ігрові досягнення, від AlphaGo до AlphaStar, стали результатом систем, які довго навчалися на одній грі, і більшість агентів для Minecraft так само покладалися на специфічне для гри навчання, бібліотеки навичок або планувальники. Останнім часом проєкти спільноти показали, що один агент на базі мовної моделі здатний дійти до дракона. Однак ці проходження спиралися на жорсткі обмеження та спрощення: гру в мирному режимі (Peaceful) на заздалегідь розвіданому світі з уже відкритим порталом або надання одному агенту десятків запрограмованих людиною інструментів Minecraft для виконання.

Ми хотіли поставити інше запитання. Як і інші великі мовні моделі, Argon прочитав в інтернеті чимало про Minecraft. Чи зможе команда універсальних агентів-програмістів взяти ці знання й через мінімальний програмний інтерфейс — без специфічних для гри інструментів, підказок, людського керування та заздалегідь розподілених ролей — самоорганізуватися, щоб перемогти Дракона Енду у випадковому світі на виживання з нуля?

Спільне програмування в дії

Агенти не бачили жодного пікселя й не натискали жодної клавіші. Кожен із них діяв, пишучи коротку програму, наприклад: «дійди до цих координат і видобудь усю залізну руду в радіусі 16 блоків». Вони також читали результати виконання програми, зокрема оновлену позицію, здоров'я та інвентар агента або згенеровану помилку. На відміну від попередніх зусиль спільноти, вони починали у випадковому світі на рівні складності Easy, з ворожими монстрами, та зі стандартною опублікованою бібліотекою Mineflayer, поверх якої ми нічого не добудовували. Mineflayer дає програмі змогу зчитувати позицію, здоров'я, інвентар і оточення гравця, а також наказувати виконувати базові дії: йти до точки, копати чи ставити блок, крафтити предмет або атакувати. Mineflayer не вказує агенту, як грати: що робити і в якому порядку, вирішували самі агенти.

За десять хвилин агенти розподілили роботу в чаті: один майстрував інструменти, другий збирав їжу, третій копав алмази, а четвертий будував портал у другий вимір гри. Щоб знайти приховану фортецю, один агент кинув два предмети, які полетіли в її бік із двох різних місць, відстежив кожен політ у коді й обчислив точку перетину траєкторій. Його розрахункова точка виявилася за 43 метри від фортеці, яка перебувала на відстані 1,3 кілометра.

Іконки предметів із текстурупака Pixel Perfection з відкритим кодом (XSSheep та Nova_Wostra, CC BY-SA 4.0), а не оригінальні текстури Minecraft.

Перемога над драконом стала найскладнішим і найтривалішим випробуванням у грі, через яке агенти відроджувалися 69 разів. Між спробами вони записували висновки для наступного разу. Зрештою один агент помітив, що кристали лікують дракона, і зрозумів, що до них можна дістатися без кирки: поставити стовпчик землі біля кожної вежі, вдарити кристал, а потім закопатися назад. Через тридцять дев'ять хвилин після падіння останнього кристала дракон був переможений. Останнього удару завдав гравець, у якого залишилося лише 2,5 із 20 одиниць здоров'я.

Іконки предметів із текстурупака Pixel Perfection з відкритим кодом (XSSheep та Nova_Wostra, CC BY-SA 4.0), а не оригінальні текстури Minecraft.

Упродовж усього шляху команда вела спільні нотатки з координатами та висновками, писала допоміжні функції, які використовували всі четверо (одна з них зустрічається у 655 програмах), повертала одне одному речі після відроджень і фіксувала власні помилки. Коли програма оголосила про успіх, якого насправді не було, агент-автор через дві хвилини написав: «Моє попереднє повідомлення в чаті було незахищеною гілкою скрипта».

За межами пісочниці

Minecraft — це пісочниця, але навички є універсальними. Рух до мети понад добу, написання та налагодження тисяч програм, відновлення після невдач і командна координація — саме цього вимагають довгострокові програмні проєкти та дослідження. І саме цього ми очікуємо від хорошого колеги: агент, який розподіляє роботу, веде спільні нотатки та виправляє власні помилки, заслуговує на те, щоб інженери довіряли йому реальні завдання.

Minecraft — це ще й безпечне місце для вивчення можливостей агентів. Програми агентів у грі могли керувати лише їхніми власними персонажами: вони не запускали процеси, не записували файли, і жодна з них не використовувала серверні команди. П'ятий агент, Спостерігач, стежив за сесією як незалежний свідок, щоб виявити шахрайство або маніпулювання умовами задачі; ні Спостерігач, ні наш ручний аналіз вибірки логів нічого такого не знайшли. Кожна програма, повідомлення та ігрова подія фіксувалися на панелі моніторингу в реальному часі, де дослідники могли будь-якої миті призупинити чи зупинити експеримент, а агенти координували дії звичайним текстом і кодом, які будь-хто міг прочитати рядок за рядком. Спостереження за тим, як команди агентів координуються в ізольованих середовищах, де кожен крок видимий, — це один зі способів зрозуміти такі системи, перш ніж довіряти їм реальні завдання.

Також варто зазначити обмеження цього дослідження. Агенти сприймали світ через API, який точно повідомляв їм, які блоки та істоти є навколо, а плагін для пошуку шляху прокладав маршрути в обхід перешкод. Вони грали на рівні складності Easy. І вони неодноразово помилялися: 605 відроджень і 22% програм завершилися помилкою.

Перевірка результатів

Ми записали все, що відбувалося під час експерименту: усі 2783 програми та їхні результати, усі 229 повідомлень у чаті, періодичні знімки світу й повний лог сервера, де перемогу зафіксовано через 27 годин і 14 хвилин після запуску першої програми. Чіт-команди на сервері були вимкнені, жодна програма не надсилала серверних команд чи мережевих запитів, а незалежний агент-Спостерігач і наш ручний аудит логів підтвердили, що команда перемогла виключно завдяки стандартному геймплею на виживання.

Наступний рубіж

Це дослідження лише злегка торкається теми використання ізольованих середовищ на кшталт Minecraft для оцінки того, як команди ШІ співпрацюють. Серед подальших питань: що станеться, якщо агенти гратимуть безпосередньо як люди, спираючись на пікселі та використовуючи віртуальні клавіатуру й мишу? Як зміниться координація, якщо збільшити розмір команди? І що створять ці агенти, коли їхня мета буде відкритою, як це дозволяє Minecraft, а не фіксованою?

Ми також плануємо використати цей інструментарій та висновки з експерименту для розв'язання складних реальних задач, привносячи здатність до співпраці та довгострокового планування у розробку програмного забезпечення, наукові дослідження, дизайн і робототехніку. Дракон упав, але справжня робота зі створення надійних ШІ-напарників лише починається.

Дізнайтеся більше про цю роботу в нашому технічному звіті: http://arxiv.org/abs/2610.22319

Це незалежний дослідницький експеримент. Він не є офіційним досягненням у Minecraft і не схвалений Mojang чи Microsoft, а також не пов'язаний із ними. Зображення з гри використовують текстурпак Pixel Perfection від XSSheep та Nova_Wostra під ліцензією CC BY-SA 4.0, а не оригінальні текстури Minecraft.