Ein Team von Gemini 4 Argon-Agenten besiegt Minecraft

Wir haben vier Gemini-4-Argon-Agenten in eine sicher isolierte Minecraft-Survival-Welt gesetzt und ihnen ein einziges Ziel gegeben: den Enderdrachen besiegen, den Endgegner des Spiels. Dabei handelte es sich um unsere universell einsetzbaren Coding-Agenten – genau die, die Entwickler für ihre tägliche Softwarearbeit nutzen –, nicht um ein speziell für Minecraft gebautes System. Jeder Agent steuerte einen Spieler über eine Open-Source-Bibliothek und koordinierte sich über den Spielchat sowie einen gemeinsamen Speicher mit seinen Teamkollegen. Das Ganze lief in einer sicheren Umgebung ab, in der Forscher ein Live-Dashboard überwachten und jederzeit eingreifen konnten, um den Durchlauf zu pausieren oder zu stoppen. Niemand hat ihnen Rollen zugewiesen oder Spiellogik geschrieben: Die Agenten haben jedes Programm selbst geplant, geschrieben und debuggt.

27 Stunden und 2.783 Programme später hatten sie den Drachen besiegt.

Warum ist das wichtig? Um Minecraft zu bezwingen, muss man über einen ganzen Tag hinweg einen schlüssigen Plan über Tausende voneinander abhängige Schritte aufrechterhalten. Indem diese Agenten erfolgreich zusammenarbeiteten, sich von wiederholten Rückschlägen erholten und ohne menschliches Eingreifen ein gemeinsames Ziel verfolgten, haben sie bewiesen, dass sie die langfristige, offene Problemlösung beherrschen, die für komplexe Softwareentwicklung und Forschungsaufgaben nötig ist. Wir planen, diese Erkenntnisse und dieses Testgerüst zu nutzen, um andere Bereiche wie Programmierung, Wissenschaft, Technik und Robotik voranzubringen.

Die große Minecraft-Herausforderung

Minecraft in einer zufällig generierten Welt abzuschließen erfordert eine lange Kette voneinander abhängiger Schritte: Grundmaterialien abbauen, gefährliche alternative Dimensionen überleben, um seltene Gegenstände zu sammeln, mit Mathematik eine versteckte unterirdische Festung orten und schließlich einen Boss besiegen, der sich ständig selbst heilt. Jeder einzelne Schritt kann Stunden dauern, und bei einem Respawn verliert man alles, was man trägt. Für einen Agenten besteht die eigentliche Herausforderung weniger in einem bestimmten Schritt als darin, über Tausende von Schritten hinweg einen kohärenten Plan zu verfolgen.

Frühere Meilensteine in Spielen – von AlphaGo bis AlphaStar – wurden von Systemen erreicht, die ausgiebig auf ein einziges Spiel trainiert waren. Auch die meisten Minecraft-Agenten stützten sich bisher auf spielspezifisches Training, Skill-Bibliotheken oder Planner. In jüngerer Zeit haben Community-Projekte gezeigt, dass ein einzelner Sprachmodell-Agent den Drachen erreichen kann. Diese Durchläufe basierten jedoch auf strengen Einschränkungen und Abkürzungen: Sie spielten im Friedensmodus in einer bereits erkundeten Welt mit einem schon geöffneten Portal oder gaben einem einzelnen Agenten Dutzende von Menschen programmierte Minecraft-Werkzeuge zur Ausführung an die Hand.

Wir wollten eine andere Frage stellen. Wie andere große Sprachmodelle hat Argon im Web viel über Minecraft gelesen. Könnte ein Team universeller Coding-Agenten dieses Wissen nutzen und sich – über eine nackte Programmierschnittstelle ohne spielspezifische Werkzeuge, ohne Hinweise, ohne menschliche Steuerung und ohne vorab zugewiesene Rollen – so organisieren, dass es den Enderdrachen in einer zufälligen Survival-Welt komplett von Grund auf besiegt?

Kollaboratives Programmieren in Aktion

Die Agenten haben nie einen Pixel gesehen oder eine Taste gedrückt. Jeder Agent handelte, indem er ein kurzes Programm schrieb, etwa „gehe zu diesen Koordinaten und baue jeden Eisenerzblock innerhalb von 16 Blöcken ab“. Außerdem lasen sie die Ausgabe der Programmausführung, darunter die aktualisierte Position, Gesundheit und das Inventar des Agenten oder eventuelle Fehlermeldungen. Im Gegensatz zu früheren Community-Projekten starteten sie in einer zufälligen Welt auf dem Schwierigkeitsgrad „Einfach“ mit feindlichen Monstern und nutzten die Standard-Mineflayer-Bibliothek exakt so, wie sie veröffentlicht wurde – ohne dass wir etwas darauf aufgebaut hätten. Mineflayer ermöglicht es einem Programm, die Position, Gesundheit, das Inventar und die Umgebung eines Spielers auszulesen und grundlegende Aktionen wie das Gehen zu einem Punkt, das Abbauen oder Setzen eines Blocks, das Herstellen eines Gegenstands oder das Angreifen anzuweisen. Mineflayer sagt einem Agenten aber nicht, wie er spielen soll: Was zu tun war und in welcher Reihenfolge, lag ganz bei den Agenten.

Nach zehn Minuten hatten die Agenten die Arbeit im Chat aufgeteilt: Einer stellte Werkzeuge her, einer sammelte Nahrung, einer grub nach Diamanten und einer baute das Portal zur zweiten Dimension des Spiels. Um die versteckte Festung zu finden, warf ein Agent zwei Gegenstände, die von zwei verschiedenen Orten aus dorthin flogen, verfolgte jede Flugbahn im Code und berechnete, wo sich die beiden Pfade kreuzten. Seine Schätzung lag 43 Meter von der Festung entfernt – bei einer Gesamtdistanz von 1,3 Kilometern.

Gegenstandssymbole aus dem Open-Source-Texturenpaket Pixel Perfection (XSSheep und Nova_Wostra, CC BY-SA 4.0), nicht die Originaltexturen von Minecraft.

Den Drachen zu besiegen war die schwerste und zeitaufwendigste Herausforderung im Spiel und führte dazu, dass die Agenten 69-mal neu spawnen mussten. Zwischen den Versuchen hielten sie ihre Erkenntnisse für den nächsten Anlauf fest. Schließlich bemerkte ein Agent, dass die Kristalle den Drachen heilten, und fand heraus, dass keine Spitzhacke nötig war, um sie zu erreichen: Erde neben jedem Turm aufstapeln, den Kristall zerschlagen, wieder hinuntergraben. 39 Minuten nachdem der letzte Kristall zerstört worden war, fiel der Drache. Der entscheidende Schlag kam von einem Spieler, der nur noch 2,5 von 20 Lebenspunkten hatte.

Gegenstandssymbole aus dem Open-Source-Texturenpaket Pixel Perfection (XSSheep und Nova_Wostra, CC BY-SA 4.0), nicht die Originaltexturen von Minecraft.

Unterwegs führte das Team gemeinsame Notizen zu Koordinaten und Erkenntnissen, schrieb Hilfsfunktionen, die alle vier wiederverwendeten (eine davon taucht in 655 Programmen auf), holte nach Respawns die Gegenstände der anderen zurück und wies auf eigene Fehler hin. Als ein Programm einen Erfolg meldete, der gar nicht stattgefunden hatte, schrieb der verantwortliche Agent zwei Minuten später: „Meine vorherige Nachricht war ein ungeschützter Skript-Zweig.“

Mehr als nur eine Sandbox

Minecraft ist die Sandbox; die Fähigkeiten sind universell. Ein Ziel länger als einen Tag zu verfolgen, Tausende Programme zu schreiben und zu debuggen, sich von Fehlschlägen zu erholen und sich als Team zu koordinieren – genau das verlangen langfristige Softwareprojekte und Forschungsarbeiten. Und genau das erwarten wir auch von einem guten Mitstreiter: Ein Agent, der Arbeit aufteilt, gemeinsame Notizen führt und eigene Fehler korrigiert, ist einer, dem Entwickler echte Aufgaben anvertrauen können.

Minecraft ist zudem ein sicherer Ort, um die Fähigkeiten von Agenten zu untersuchen. Die Programme der Agenten im Spiel konnten nur ihren eigenen Spieler steuern: Sie konnten weder Prozesse starten noch Dateien schreiben, und keiner nutzte einen Serverbefehl. Ein fünfter Agent, der Beobachter, verfolgte die Sitzung als unabhängiger Zeuge, um Betrug oder das Ausnutzen von Spezifikationslücken zu erkennen. Weder der Beobachter noch unsere manuelle Prüfung einer Stichprobe der Logs fanden Hinweise darauf. Jedes Programm, jede Nachricht und jedes Spielereignis wurde auf einem Live-Dashboard aufgezeichnet, über das Forscher den Durchlauf jederzeit pausieren oder stoppen konnten. Die Agenten koordinierten sich in Klartext und Code, den jeder Zeile für Zeile mitlesen konnte. Agententeams in isolierten Umgebungen zu beobachten, in denen jeder Schritt sichtbar ist, ist ein Weg, solche Systeme zu verstehen, bevor man ihnen reale Aufgaben anvertraut.

Auch die Grenzen dieser Studie sollten erwähnt werden. Die Agenten nahmen die Welt über eine API wahr, die ihnen exakt mitteilt, welche Blöcke und Kreaturen sich in ihrer Nähe befinden, und ein Pathfinding-Plugin plant ihre Routen um Hindernisse herum. Sie spielten auf „Einfach“. Und sie scheiterten immer wieder: 605 Respawns und 22 % der Programme endeten mit einem Fehler.

Überprüfung der Ergebnisse

Wir haben alles aus dem Durchlauf aufgezeichnet: alle 2.783 Programme und ihre Ausgaben, alle 229 Chat-Nachrichten, regelmäßige Momentaufnahmen der Welt sowie das vollständige Serverprotokoll, in dem der Sieg 27 Stunden und 14 Minuten nach dem ersten Programm verzeichnet ist. Cheat-Befehle waren auf dem Server deaktiviert, kein Programm gab einen Serverbefehl oder eine Netzwerkanfrage ab, und sowohl der unabhängige Beobachter-Agent als auch unsere manuelle Prüfung der Logs bestätigten, dass das Team rein durch reguläres Survival-Gameplay gewonnen hat.

Das nächste Kapitel

Diese Studie kratzt erst an der Oberfläche dessen, was möglich ist, wenn man Sandbox-Umgebungen wie Minecraft nutzt, um die Zusammenarbeit von KI-Teams zu bewerten. Zu den Anschlussfragen gehören: Was passiert, wenn Agenten direkt wie Menschen spielen – also anhand von Pixeln mit virtueller Tastatur und Maus? Wie verändert sich die Koordination, wenn wir das Team vergrößern? Und was erschaffen diese Agenten, wenn ihr Ziel offen gestaltet ist, wie es in Minecraft möglich ist, statt fest vorgegeben zu sein?

Wir planen außerdem, dieses Testgerüst und die Erkenntnisse aus diesem Experiment zu nutzen, um komplexe reale Herausforderungen anzugehen und kollaborative, langfristig denkende Intelligenz in Softwareentwicklung, wissenschaftliche Forschung, Design und Robotik zu bringen. Der Drache ist gefallen, aber die eigentliche Arbeit, verlässliche KI-Teammitglieder zu entwickeln, hat gerade erst begonnen.

Erfahre mehr über diese Arbeit in unserem technischen Bericht: http://arxiv.org/abs/2610.22319

Dies ist ein unabhängiges Forschungsexperiment. Es handelt sich weder um einen offiziellen Minecraft-Meilenstein, noch wurde es von Mojang oder Microsoft genehmigt oder steht mit diesen Unternehmen in Verbindung. Die Bilder des Spiels verwenden das Texturenpaket Pixel Perfection von XSSheep und Nova_Wostra, lizenziert unter CC BY-SA 4.0, und nicht die Originaltexturen von Minecraft.