Une équipe d'agents Gemini 4 Argon bat Minecraft

Nous avons placé quatre agents Gemini 4 Argon dans un monde de survie Minecraft sécurisé en bac à sable et leur avons donné un seul objectif : vaincre l'Ender Dragon, le boss de fin de jeu. Il s'agissait de nos agents de programmation polyvalents, ceux-là mêmes que les ingénieurs utilisent au quotidien pour leurs travaux logiciels, et non d'un système sur mesure conçu pour Minecraft. Évoluant dans un environnement sécurisé où les chercheurs surveillaient un tableau de bord en direct et pouvaient intervenir à tout moment pour suspendre ou arrêter l'exécution, chaque agent contrôlait un joueur via une bibliothèque open source et se coordonnait avec ses coéquipiers par le biais du chat du jeu et d'une mémoire partagée. Personne ne leur a attribué de rôles ni écrit de logique de jeu : les agents ont planifié, rédigé et débogué chaque programme eux-mêmes.

Vingt-sept heures et 2 783 programmes plus tard, ils ont vaincu le dragon.

Pourquoi est-ce important ? Terminer Minecraft exige de maintenir un plan cohérent sur des milliers d'étapes interdépendantes pendant plus d'une journée. En collaborant avec succès, en se relevant d'échecs répétés et en poursuivant un objectif commun sans intervention humaine, ces agents ont prouvé qu'ils sont capables de gérer la résolution de problèmes à long terme et ouverte requise par les tâches complexes d'ingénierie logicielle et de recherche. Nous prévoyons d'utiliser ces enseignements et ce dispositif pour faire progresser d'autres domaines tels que la programmation, la science, l'ingénierie et la robotique.

Le Grand Défi Minecraft

Terminer Minecraft dans un monde généré aléatoirement nécessite une longue chaîne d'étapes interdépendantes : extraire des matériaux de base, survivre dans des dimensions alternatives dangereuses pour récolter des objets rares, utiliser les mathématiques pour localiser une forteresse souterraine cachée, puis enfin vaincre un boss qui se soigne constamment. Chaque étape peut prendre des heures, et mourir vous fait perdre tout ce que vous transportez. Pour un agent, la difficulté réside moins dans une étape isolée que dans le maintien d'un plan cohérent sur des milliers d'entre elles.

Les jalons précédents dans le domaine du jeu, d'AlphaGo à AlphaStar, provenaient de systèmes entraînés longuement sur un seul jeu, et la plupart des agents Minecraft se sont également appuyés sur un entraînement spécifique au jeu, des bibliothèques de compétences ou des planificateurs. Plus récemment, des projets communautaires ont montré qu'un agent basé sur un modèle de langage unique pouvait atteindre le dragon. Cependant, ces tentatives reposaient sur des contraintes lourdes et des raccourcis : jouer en mode Paisible dans un monde déjà exploré avec un portail pré-ouvert, ou fournir à un agent unique des dizaines d'outils Minecraft programmés par des humains à exécuter.

Nous voulions poser une question différente. Comme les autres grands modèles de langage, Argon a lu énormément de choses sur Minecraft sur le web. Une équipe d'agents de programmation polyvalents pourrait-elle exploiter ces connaissances et, via une interface de programmation brute sans outils spécifiques au jeu, sans indices, sans pilotage humain et sans rôles pré-attribués, s'organiser pour battre l'Ender Dragon dans un monde de survie aléatoire en partant de zéro ?

La programmation collaborative en action

Les agents n'ont jamais vu un seul pixel ni appuyé sur une touche. Chaque agent agissait en écrivant un court programme, comme « marche jusqu'à ces coordonnées et mine tous les minerais de fer dans un rayon de 16 blocs ». Ils lisaient également la sortie produite par l'exécution du programme, y compris la position mise à jour, la santé et l'inventaire de l'agent, ou l'erreur générée. Contrairement aux efforts communautaires précédents, ils ont commencé dans un monde aléatoire en difficulté Facile, avec des monstres hostiles, et la bibliothèque Mineflayer standard telle que publiée, sans rien que nous ayons construit par-dessus. Mineflayer permet à un programme de lire la position, la santé, l'inventaire et l'environnement d'un joueur, et d'ordonner des actions de base telles que marcher vers un point, creuser ou placer un bloc, fabriquer un objet ou attaquer. Mineflayer ne dit pas à un agent comment jouer : ce qu'il faut faire, et dans quel ordre, dépendait entièrement des agents.

Dix minutes après le début, les agents s'étaient réparti le travail dans le chat : l'un fabriquait des outils, un autre récoltait de la nourriture, un troisième creusait pour trouver des diamants et le dernier construisait le portail vers la deuxième dimension du jeu. Pour trouver la forteresse cachée, un agent a lancé deux objets qui ont volé vers elle depuis deux endroits différents, a suivi chaque trajectoire dans le code et a calculé l'endroit où les deux chemins se croisaient. Son estimation est tombée à 43 mètres de la forteresse, située à 1,3 kilomètre de là.

Icônes d'objets issues du pack de textures open source Pixel Perfection (XSSheep et Nova_Wostra, CC BY-SA 4.0), et non des textures de Minecraft.

Vaincre le dragon était le défi le plus difficile et le plus chronophage du jeu, et il a entraîné 69 résurrections pour les agents. Entre chaque tentative, ils notaient les leçons apprises pour la suivante. Finalement, un agent a remarqué que les cristaux soignaient le dragon, et a compris qu'aucune pioche n'était nécessaire pour les atteindre : empiler de la terre à côté de chaque tour, frapper le cristal, puis redescendre en creusant. Trente-neuf minutes après la chute du dernier cristal, le dragon était vaincu. Le coup fatal a été porté par un joueur réduit à 2,5 points de vie sur 20.

Icônes d'objets issues du pack de textures open source Pixel Perfection (XSSheep et Nova_Wostra, CC BY-SA 4.0), et non des textures de Minecraft.

Tout au long du parcours, l'équipe a tenu des notes partagées sur les coordonnées et les leçons apprises, a écrit des fonctions utilitaires réutilisées par les quatre agents (l'une d'elles apparaît dans 655 programmes), a récupéré les objets des uns et des autres après les résurrections, et a signalé ses propres erreurs. Lorsqu'un programme a annoncé une réussite qui n'avait pas eu lieu, l'agent qui en était l'auteur a écrit deux minutes plus tard : « Mon message précédent était une branche de script non maîtrisée ».

Au-delà du bac à sable

Minecraft est le bac à sable ; les compétences, elles, sont générales. Poursuivre un objectif pendant plus d'une journée, écrire et déboguer des milliers de programmes, se relever de ses échecs et se coordonner en équipe correspondent exactement à ce qu'exigent les projets logiciels et les recherches à long terme. C'est aussi ce que nous attendons d'un bon collaborateur : un agent qui répartit le travail, tient des notes partagées et corrige ses propres erreurs est un agent auquel les ingénieurs peuvent confier de vraies tâches.

Minecraft est également un endroit sûr pour étudier les capacités des agents. Les programmes internes au jeu des agents ne pouvaient contrôler que leur propre joueur : ils ne pouvaient ni lancer de processus ni écrire de fichiers, et aucun n'a utilisé de commande serveur. Un cinquième agent, l'Observateur, a suivi la session en tant que témoin indépendant pour détecter toute triche ou exploitation des spécifications ; ni l'Observateur ni notre examen manuel d'un échantillon des journaux n'en ont trouvé. Chaque programme, message et événement du jeu a été enregistré sur un tableau de bord en direct où les chercheurs pouvaient suspendre ou arrêter l'exécution à tout moment, et les agents se sont coordonnés en texte brut et en code que n'importe qui pouvait lire, ligne par ligne. Observer des équipes d'agents se coordonner dans des environnements en bac à sable où chaque étape est visible est un moyen de comprendre ces systèmes avant de leur confier des tâches réelles.

Les limites de cette étude méritent également d'être soulignées. Les agents perçoivent le monde via une API, qui leur indique exactement quels blocs et créatures se trouvent autour d'eux, et un plugin de recherche de chemin planifie leurs itinéraires pour contourner les obstacles. Ils ont joué en difficulté Facile. Et ils ont échoué à maintes reprises : 605 résurrections, et 22 % des programmes se terminant par une erreur.

Vérification des résultats

Nous avons tout enregistré lors de l'exécution : les 2 783 programmes et leurs sorties, les 229 messages du chat, des instantanés périodiques du monde, ainsi que le journal complet du serveur, où la victoire est enregistrée 27 heures et 14 minutes après le premier programme. Les commandes de triche étaient désactivées sur le serveur, aucun programme n'a émis de commande serveur ou de requête réseau, et l'agent Observateur indépendant ainsi que notre audit manuel des journaux ont confirmé que l'équipe avait gagné uniquement grâce au gameplay de survie standard.

La prochaine frontière

Cette étude ne fait qu'effleurer l'utilisation d'environnements en bac à sable comme Minecraft pour évaluer la façon dont les équipes d'IA collaborent. Parmi les prochaines étapes : que se passe-t-il lorsque les agents jouent directement comme le font les humains, à partir des pixels, en utilisant un clavier et une souris virtuels ? Comment la coordination évolue-t-elle lorsque nous augmentons la taille de l'équipe ? Et que créeront ces agents lorsque leur objectif sera ouvert, comme le permet Minecraft, plutôt que fixe ?

Nous prévoyons également d'utiliser ce dispositif, ainsi que les leçons tirées de cette expérience, pour relever des défis complexes du monde réel, en apportant une intelligence collaborative et à long terme à l'ingénierie logicielle, à la recherche scientifique, au design et à la robotique. Le dragon est tombé, mais le véritable travail consistant à bâtir des coéquipiers IA fiables ne fait que commencer.

Découvrez-en plus sur ces travaux dans notre rapport technique : http://arxiv.org/abs/2610.22319

Il s'agit d'une expérience de recherche indépendante. Ce n'est pas un jalon officiel de Minecraft, et elle n'est ni approuvée par Mojang ou Microsoft, ni associée à ces entreprises. Les images du jeu utilisent le pack de textures Pixel Perfection de XSSheep et Nova_Wostra, sous licence CC BY-SA 4.0, et non les textures propres à Minecraft.