เอเจนต์ Gemini 4 Argon เอาชนะ Ender Dragon ใน Minecraft

เราวางเอเจนต์ Gemini 4 Argon จำนวนสี่ตัวไว้ในโลกเอาชีวิตรอดของ Minecraft ที่แยกไว้ในแซนด์บ็อกซ์อย่างปลอดภัย และมอบเป้าหมายเดียวให้พวกมัน: เอาชนะ Ender Dragon บอสตัวสุดท้ายของเกม เอเจนต์เหล่านี้คือเอเจนต์เขียนโค้ดอเนกประสงค์ของเรา เป็นตัวเดียวกับที่วิศวกรใช้ทำงานซอฟต์แวร์ในชีวิตประจำวัน ไม่ใช่ระบบที่สร้างขึ้นเฉพาะสำหรับ Minecraft โดยทำงานอยู่ในสภาพแวดล้อมที่ปลอดภัย ซึ่งนักวิจัยคอยเฝ้าดูแดชบอร์ดแบบเรียลไทม์และสามารถเข้าแทรกแซงเพื่อหยุดชั่วคราวหรือยุติการทำงานเมื่อใดก็ได้ แต่ละเอเจนต์ควบคุมตัวละครผู้เล่นผ่านไลบรารีโอเพนซอร์ส และประสานงานกับเพื่อนร่วมทีมผ่านแชทในเกมและหน่วยความจำที่ใช้ร่วมกัน ไม่มีใครกำหนดบทบาทหรือเขียนตรรกะของเกมให้พวกมันเลย: เอเจนต์วางแผน เขียน และดีบั๊กทุกโปรแกรมด้วยตัวเอง

หลังจากผ่านไป 27 ชั่วโมง กับอีก 2,783 โปรแกรม พวกมันก็เอาชนะมังกรได้สำเร็จ

ทำไมเรื่องนี้ถึงสำคัญ? การพิชิต Minecraft ต้องอาศัยการรักษาระเบียบแผนงานที่สอดคล้องกันตลอดหลายพันขั้นตอนที่เชื่อมโยงกันเป็นเวลานานกว่าหนึ่งวัน ด้วยการร่วมมือกันอย่างประสบความสำเร็จ ฟื้นตัวจากความล้มเหลวซ้ำแล้วซ้ำเล่า และมุ่งสู่เป้าหมายร่วมกันโดยไม่มีการแทรกแซงจากมนุษย์ เอเจนต์เหล่านี้ได้พิสูจน์แล้วว่าพวกมันสามารถจัดการกับการแก้ปัญหาแบบเปิดกว้างระยะยาว ซึ่งเป็นสิ่งที่จำเป็นต่องานวิศวกรรมซอฟต์แวร์และการวิจัยที่ซับซ้อน เราวางแผนที่จะนำบทเรียนและชุดเครื่องมือทดสอบนี้ไปต่อยอดในโดเมนอื่น ๆ เช่น การเขียนโค้ด วิทยาศาสตร์ วิศวกรรม และหุ่นยนต์

ภารกิจท้าทายสุดยิ่งใหญ่แห่ง Minecraft

การจบเกม Minecraft ในโลกที่ถูกสุ่มขึ้นมาต้องใช้ขั้นตอนที่เชื่อมโยงกันเป็นสายโซ่ยาว: ขุดหาวัสดุพื้นฐาน เอาชีวิตรอดในมิติคู่ขนานที่อันตรายเพื่อรวบรวมไอเทมหายาก ใช้คณิตศาสตร์คำนวณหาป้อมปราการใต้ดินที่ซ่อนอยู่ และท้ายที่สุดคือการเอาชนะบอสที่ฟื้นฟูพลังชีวิตของตัวเองอยู่ตลอดเวลา แต่ละขั้นตอนอาจใช้เวลาหลายชั่วโมง และการเกิดใหม่จะทำให้คุณสูญเสียทุกอย่างที่พกมา สำหรับเอเจนต์แล้ว ส่วนที่ยากไม่ใช่ขั้นตอนใดขั้นตอนหนึ่ง แต่เป็นการรักษาแผนงานให้สอดคล้องกันตลอดหลายพันขั้นตอนต่างหาก

ความสำเร็จครั้งก่อน ๆ ในวงการเกม ตั้งแต่ AlphaGo ไปจนถึง AlphaStar ล้วนมาจากระบบที่ถูกฝึกฝนอย่างยาวนานในเกมเพียงเกมเดียว และเอเจนต์ Minecraft ส่วนใหญ่ก็พึ่งพาการฝึกฝนเฉพาะเกม ไลบรารีสกิล หรือตัววางแผนเช่นเดียวกัน ในช่วงหลังมานี้ โปรเจกต์จากคอมมูนิตี้แสดงให้เห็นว่าเอเจนต์โมเดลภาษาเพียงตัวเดียวก็สามารถไปถึงมังกรได้ อย่างไรก็ตาม การเล่นเหล่านั้นต้องพึ่งพาข้อจำกัดและทางลัดจำนวนมาก เช่น เล่นในโหมด Peaceful บนโลกที่ถูกสำรวจไว้ล่วงหน้าพร้อมพอร์ทัลที่เปิดรอไว้แล้ว หรือการมอบเครื่องมือ Minecraft หลายสิบชิ้นที่มนุษย์เขียนโปรแกรมไว้ให้เอเจนต์ตัวเดียวเรียกใช้งาน

เราอยากตั้งคำถามที่แตกต่างออกไป เช่นเดียวกับโมเดลภาษาขนาดใหญ่ตัวอื่น ๆ Argon ได้อ่านข้อมูลเกี่ยวกับ Minecraft บนอินเทอร์เน็ตมาไม่น้อย ทีมเอเจนต์เขียนโค้ดอเนกประสงค์จะสามารถนำความรู้เหล่านั้นมาใช้ และจัดระเบียบตัวเองเพื่อเอาชนะ Ender Dragon ในโลกเอาชีวิตรอดที่ถูกสุ่มขึ้นมาตั้งแต่ต้น ผ่านอินเทอร์เฟซการเขียนโปรแกรมแบบเปล่า ๆ โดยไม่มีเครื่องมือเฉพาะเกม ไม่มีคำใบ้ ไม่มีการชี้แนะจากมนุษย์ และไม่มีการกำหนดบทบาทล่วงหน้า ได้หรือไม่?

การเขียนโค้ดร่วมกันในภาคปฏิบัติ

เอเจนต์ไม่เคยเห็นแม้แต่พิกเซลเดียวหรือกดปุ่มใด ๆ เลย แต่ละเอเจนต์ทำงานด้วยการเขียนโปรแกรมสั้น ๆ เช่น "เดินไปยังพิกัดเหล่านี้และขุดแร่เหล็กทุกก้อนภายในระยะ 16 บล็อก" พวกมันยังอ่านผลลัพธ์ที่เกิดจากการรันโปรแกรม รวมถึงตำแหน่ง พลังชีวิต และช่องเก็บของที่อัปเดตแล้วของเอเจนต์ หรือข้อผิดพลาดที่เกิดขึ้น ต่างจากความพยายามครั้งก่อน ๆ ของคอมมูนิตี้ พวกมันเริ่มต้นในโลกที่ถูกสุ่มขึ้นมาบนระดับความยาก Easy ที่มีมอนสเตอร์ศัตรู และใช้ไลบรารี Mineflayer เวอร์ชันมาตรฐานตามที่เผยแพร่ โดยเราไม่ได้สร้างอะไรเพิ่มเติมทับลงไป Mineflayer ช่วยให้โปรแกรมอ่านตำแหน่ง พลังชีวิต ช่องเก็บของ และสภาพแวดล้อมของผู้เล่นได้ รวมถึงสั่งการกระทำพื้นฐาน เช่น เดินไปยังจุดที่กำหนด ขุดหรือวางบล็อก คราฟต์ไอเทม หรือโจมตี Mineflayer ไม่ได้บอกวิธีเล่นให้เอเจนต์รู้: จะทำอะไร และทำลำดับไหน ขึ้นอยู่กับเอเจนต์เอง

ผ่านไปสิบนาที เอเจนต์ก็แบ่งงานกันเสร็จเรียบร้อยในช่องแชท: ตัวหนึ่งสร้างเครื่องมือ ตัวหนึ่งหาอาหาร ตัวหนึ่งขุดหาเพชร และอีกตัวสร้างพอร์ทัลไปยังมิติที่สองของเกม เพื่อค้นหาป้อมปราการที่ซ่อนอยู่ เอเจนต์ตัวหนึ่งโยนไอเทมสองชิ้นให้ลอยไปหามันจากสองจุดที่แตกต่างกัน ติดตามเส้นทางการบินแต่ละครั้งด้วยโค้ด และคำนวณหาจุดที่เส้นทางทั้งสองตัดกัน ผลการประมาณค่าของมันคลาดเคลื่อนจากป้อมปราการไปเพียง 43 เมตร จากระยะทางจริง 1.3 กิโลเมตร

ไอคอนไอเทมจากเท็กซ์เจอร์แพ็กโอเพนซอร์ส Pixel Perfection (XSSheep และ Nova_Wostra, CC BY-SA 4.0) ไม่ใช่เท็กซ์เจอร์ดั้งเดิมของ Minecraft

การเอาชนะมังกรคือความท้าทายที่ยากและกินเวลามากที่สุดในเกม ส่งผลให้เอเจนต์ต้องเกิดใหม่ถึง 69 ครั้ง ระหว่างการลองแต่ละครั้ง พวกมันจะจดบันทึกบทเรียนไว้สำหรับการลองครั้งถัดไป ท้ายที่สุด เอเจนต์ตัวหนึ่งสังเกตเห็นว่าคริสตัลกำลังฟื้นฟูพลังชีวิตให้มังกร และคิดออกว่าไม่จำเป็นต้องใช้พลั่วขุดเพื่อเข้าถึงมัน: แค่วางบล็อกดินซ้อนขึ้นไปข้างหอคอยแต่ละแห่ง ต่อยคริสตัล แล้วขุดกลับลงมา สามสิบเก้านาทีหลังจากคริสตัลก้อนสุดท้ายถูกทำลาย มังกรก็ถูกปราบลง การโจมตีครั้งสุดท้ายมาจากผู้เล่นที่มีพลังชีวิตเหลือเพียง 2.5 จาก 20 แต้ม

ระหว่างทาง ทีมงานได้จดบันทึกพิกัดและบทเรียนร่วมกัน เขียนฟังก์ชันเสริมที่ทั้งสี่ตัวนำไปใช้ซ้ำได้ (ฟังก์ชันหนึ่งปรากฏอยู่ใน 655 โปรแกรม) เก็บไอเทมของกันและกันคืนมาหลังจากเกิดใหม่ และแจ้งเตือนข้อผิดพลาดของตัวเอง เมื่อมีโปรแกรมประกาศความสำเร็จในสิ่งที่ยังไม่เกิดขึ้น เอเจนต์ผู้เขียนก็พิมพ์ตามมาในอีกสองนาทีให้หลังว่า “แชทก่อนหน้าของผมเป็นสคริปต์สาขาที่ไม่ได้ป้องกันไว้”

ก้าวข้ามแซนด์บ็อกซ์

Minecraft คือแซนด์บ็อกซ์ แต่ทักษะที่ได้เป็นเรื่องทั่วไป การไล่ตามเป้าหมายนานกว่าหนึ่งวัน การเขียนและดีบั๊กโปรแกรมนับพัน การฟื้นตัวจากความล้มเหลว และการประสานงานเป็นทีม คือสิ่งที่โปรเจกต์ซอฟต์แวร์และการวิจัยระยะยาวต้องการพอดี นอกจากนี้ยังเป็นสิ่งที่เราคาดหวังจากผู้ร่วมงานที่ดี: เอเจนต์ที่รู้จักแบ่งงาน จดบันทึกร่วมกัน และแก้ไขข้อผิดพลาดของตัวเองได้ คือเอเจนต์ที่วิศวกรไว้วางใจให้ทำงานจริงได้

Minecraft ยังเป็นพื้นที่ปลอดภัยสำหรับศึกษาความสามารถของเอเจนต์ โปรแกรมในเกมของเอเจนต์สามารถควบคุมได้เฉพาะตัวละครผู้เล่นของตัวเองเท่านั้น: พวกมันไม่สามารถเริ่มกระบวนการหรือเขียนไฟล์ได้เลย และไม่มีตัวไหนใช้คำสั่งเซิร์ฟเวอร์ เอเจนต์ตัวที่ห้าซึ่งทำหน้าที่เป็นผู้สังเกตการณ์ (Observer) คอยติดตามเซสชันในฐานะพยานอิสระเพื่อเฝ้าระวังการโกงหรือการหาช่องโหว่ของข้อกำหนด ทั้งผู้สังเกตการณ์และการตรวจสอบตัวอย่างบันทึกด้วยตนเองของเราไม่พบสิ่งผิดปกติใด ๆ ทุกโปรแกรม ข้อความ และเหตุการณ์ในเกมถูกบันทึกไว้ในแดชบอร์ดแบบเรียลไทม์ที่นักวิจัยสามารถหยุดชั่วคราวหรือยุติการทำงานเมื่อใดก็ได้ และเอเจนต์ก็ประสานงานกันด้วยข้อความธรรมดาและโค้ดที่ใครก็สามารถอ่านได้ทีละบรรทัด การเฝ้าดูทีมเอเจนต์ประสานงานกันในสภาพแวดล้อมแซนด์บ็อกซ์ที่มองเห็นทุกขั้นตอน เป็นวิธีหนึ่งในการทำความเข้าใจระบบเหล่านี้ก่อนที่จะไว้วางใจให้ทำงานในโลกจริง

ข้อจำกัดของการศึกษานี้ก็ควรกล่าวถึงเช่นกัน เอเจนต์รับรู้โลกผ่าน API ซึ่งบอกพวกมันอย่างชัดเจนว่ามีบล็อกและสิ่งมีชีวิตใดอยู่รอบตัวบ้าง และมีปลั๊กอินค้นหาเส้นทางช่วยวางแผนการเดินทางหลบสิ่งกีดขวาง พวกมันเล่นในระดับความยาก Easy และล้มเหลวซ้ำแล้วซ้ำเล่า: เกิดใหม่ 605 ครั้ง และ 22% ของโปรแกรมจบลงด้วยข้อผิดพลาด

การยืนยันผลลัพธ์

เราบันทึกทุกอย่างจากการทดลองครั้งนี้: โปรแกรมทั้งหมด 2,783 รายการพร้อมผลลัพธ์ ข้อความแชททั้งหมด 229 ข้อ สแนปช็อตของโลกเป็นระยะ และบันทึกเซิร์ฟเวอร์ฉบับเต็ม ซึ่งระบุว่าชัยชนะเกิดขึ้น 27 ชั่วโมง 14 นาทีหลังจากโปรแกรมแรก คำสั่งโกงถูกปิดการใช้งานบนเซิร์ฟเวอร์ ไม่มีโปรแกรมใดส่งคำสั่งเซิร์ฟเวอร์หรือคำขอเครือข่าย และทั้งเอเจนต์ผู้สังเกตการณ์อิสระและการตรวจสอบบันทึกด้วยตนเองของเรายืนยันว่าทีมงานชนะด้วยการเล่นโหมดเอาชีวิตรอดมาตรฐานล้วน ๆ

พรมแดนถัดไป

การศึกษานี้เป็นเพียงการแตะพื้นผิวเบื้องต้นของการใช้สภาพแวดล้อมแซนด์บ็อกซ์อย่าง Minecraft เพื่อประเมินว่าทีม AI ร่วมมือกันได้อย่างไร สิ่งที่จะทำต่อไป ได้แก่: จะเกิดอะไรขึ้นเมื่อเอเจนต์เล่นเหมือนมนุษย์โดยตรงผ่านการมองพิกเซลและใช้คีย์บอร์ดกับเมาส์เสมือน? การประสานงานจะเปลี่ยนไปอย่างไรเมื่อเราขยายขนาดของทีม? และเอเจนต์เหล่านี้จะสร้างสรรค์อะไรขึ้นมาเมื่อเป้าหมายของพวกมันเปิดกว้างตามที่ Minecraft อนุญาต แทนที่จะถูกกำหนดตายตัว?

เรายังวางแผนที่จะใช้ชุดเครื่องมือทดสอบนี้ และบทเรียนที่ได้จากการทดลองนี้ เพื่อรับมือกับความท้าทายที่ซับซ้อนในโลกจริง นำปัญญาประดิษฐ์ที่ทำงานร่วมกันได้ในระยะยาวมาสู่งานวิศวกรรมซอฟต์แวร์ การวิจัยทางวิทยาศาสตร์ การออกแบบ และหุ่นยนต์ มังกรถูกปราบลงแล้ว แต่งานที่แท้จริงในการสร้างเพื่อนร่วมทีม AI ที่เชื่อถือได้เพิ่งจะเริ่มต้นขึ้น

อ่านรายละเอียดเพิ่มเติมเกี่ยวกับงานนี้ได้ในรายงานทางเทคนิคของเรา: http://arxiv.org/abs/2610.22319

นี่คือการทดลองวิจัยที่เป็นอิสระ ไม่ใช่ความสำเร็จอย่างเป็นทางการของ Minecraft และไม่ได้รับการอนุมัติจากหรือมีความเกี่ยวข้องใด ๆ กับ Mojang หรือ Microsoft ภาพในเกมใช้เท็กซ์เจอร์แพ็ก Pixel Perfection โดย XSSheep และ Nova_Wostra ภายใต้สัญญาอนุญาต CC BY-SA 4.0 ไม่ใช่เท็กซ์เจอร์ดั้งเดิมของ Minecraft