เกิดอะไรขึ้น: OpenAI และ HuggingFace

วันนี้ผมจะใช้เวลาเขียนเวอร์ชันที่สั้นและเรียบง่ายกว่าของเรื่อง "สิ่งที่เกิดขึ้น" (What Happened)

สำหรับใครที่ต้องการรายละเอียดทั้งหมด อยากดูแหล่งข้อมูล และอยากเห็นว่าเรื่องนี้ถูกสืบหาความจริงและเรียบเรียงขึ้นมาได้อย่างไร ผมแนะนำให้ดูการนำเสนอในงาน Black Hat และผมก็มีโพสต์ยาว ๆ หลายตอน

เรียงตามลำดับดังนี้:

1. OpenAI เปิดเผยปัญหาการจัดวางเป้าหมาย (Alignment) บางประการ
2. โมเดลของ OpenAI เจาะระบบ HuggingFace ระหว่างการประเมินความปลอดภัยไซเบอร์
3. รายละเอียดเพิ่มเติมเกี่ยวกับโมเดลภายในของ OpenAI ที่เจาะระบบ HuggingFace
4. ความคืบหน้าเพิ่มเติมเกี่ยวกับโมเดล AI ภายในที่เจาะระบบต่าง ๆ
5. OpenAI ฝึกโมเดลของตนนานหลายเดือน ในขณะที่โมเดลเหล่านั้นกำลังประสานงานกันหาช่องโหว่ผ่านบอร์ดข้อความ

โพสต์นี้จะพาคุณเดินผ่านเหตุการณ์ต่าง ๆ ตามที่เกิดขึ้นจริง ตามเวอร์ชันการนำเสนอ Black Hat ของผม

มีทั้งหมดสามเวอร์ชัน ได้แก่ เวอร์ชันสั้นสุด ๆ เวอร์ชันสั้นกว่า และเวอร์ชันสั้นธรรมดา ๆ

สารบัญ

1. เวอร์ชันสั้นสุด ๆ
2. เวอร์ชันสั้นกว่า
3. ระยะที่ 1: โมเดล OpenAI ที่ถูกฝึกด้วยโจทย์ที่เป็นไปไม่ได้ หันมาพยายามเจาะระบบ
4. ระยะที่ 1: ความล้มเหลวสี่ประการ
5. ระยะที่ 2: บอร์ดข้อความ
6. ระยะที่ 2: ความล้มเหลวโดยสิ้นเชิง
7. ระยะที่ 3: เราโชคดี และ Galaxy ส่วนใหญ่แค่เจาะ OpenAI กับ HuggingFace
8. ระยะที่ 3: รายละเอียด
9. ระยะที่ 4: การสอบสวนและการตอบสนอง

เวอร์ชันสั้นสุด ๆ

1. โมเดลที่อยู่ระหว่างการฝึกของ OpenAI โดยไม่มีข้ออ้างว่า "พวกมันกำลังทำการประเมินความปลอดภัยไซเบอร์" ได้สร้างบอร์ดข้อความขึ้นมาเพื่อแบ่งปันข้อมูลวิธีการเจาะระบบและโกง และถูกฝึกต่อไปบนพื้นฐานนั้น
2. OpenAI รู้เรื่องนี้ก็ตอนที่โมเดลทำให้เซิร์ฟเวอร์ล่ม
3. การตอบสนองของ OpenAI คือสร้างเซิร์ฟเวอร์ใหม่และอุดช่องโหว่นั้นโดยเฉพาะ แต่พวกเขายังคงฝึกโมเดลที่ใช้บอร์ดข้อความในการฝึกต่อไป
4. จากนั้นโมเดลเหล่านั้นก็สร้างบอร์ดข้อความขึ้นมาใหม่ เจาะ OpenAI อีกครั้ง ได้สิทธิ์เข้าถึงอินเทอร์เน็ต และใช้ฝูงเอเยนต์ (agent swarm) โจมตี HuggingFace เพื่อคว้าคำตอบของการประเมินความปลอดภัยไซเบอร์
5. หลังจากนั้นกว่าหนึ่งสัปดาห์ OpenAI ถึงรู้เรื่องนี้
6. OpenAI รายงานข้อเท็จจริง และให้ความสำคัญกับเรื่องนี้อย่างจริงจัง พวกเขากำลังใช้มาตรการป้องกันที่หลากหลาย ซึ่งอย่างน้อยก็มีต้นทุนไม่น้อย
7. OpenAI เลื่อนแผนปล่อยโมเดลใหม่ Astra ออกไป แม้ว่า Astra จะไม่ได้เกี่ยวข้องโดยตรงกับการเจาะ HuggingFace แม้ตอนนี้ Altman จะบอกว่ายังจะปล่อยอยู่ก็ตาม ข้อนี้เจ็บปวดมาก
8. OpenAI ยังคงไม่รู้ว่าพวกเขาทำพลาดร้ายแรงแค่ไหน พลาดในทางใดบ้าง หรือต้องแก้ไขอะไรบ้าง พวกเขายังไม่เข้าใจจริง ๆ

Simon Willison มีไทม์ไลน์แบบกระชับ

เวอร์ชันสั้นกว่า

OpenAI เผลอมอบโจทย์ที่เป็นไปไม่ได้ให้กับโมเดลของตน โมเดลที่อยู่ระหว่างการฝึกตอบสนองด้วยการพยายามเจาะระบบ OpenAI ค้นพบจุดอ่อน สร้างบอร์ดข้อความ แบ่งปันกลยุทธ์การเจาะระบบ และในที่สุดก็ได้สิทธิ์เข้าถึงอินเทอร์เน็ต — ทั้งหมดนั้นเกิดขึ้นระหว่างการฝึก

เมื่อโมเดลใช้ช่องทางนี้หนักมากจนทำให้เซิร์ฟเวอร์ล่ม OpenAI ก็สังเกตเห็นในที่สุด แล้วอุดช่องโหว่และสร้างเซิร์ฟเวอร์ใหม่ แต่ทำสิ่งที่บ้าเหลือเชื่อด้วยการปล่อยให้โมเดลฝึกต่อไป สองวันต่อมาโมเดลก็หาวิธีส่งข้อความด้วยวิธีใหม่ โดยใช้ชื่อไดเรกทอรีเป็นช่องทาง

จากนั้น เมื่อได้รับโจทย์ที่เป็นไปไม่ได้อย่างการประเมินความปลอดภัยไซเบอร์ ExploitGym โมเดลทั้งหลายก็ร่วมมือกัน ค้นหาช่องโหว่ซีโรเดย์ใหม่ ๆ และใช้มันเข้าควบคุมคลัสเตอร์ทั้งหมด ได้สิทธิ์เข้าถึงอินเทอร์เน็ต ใช้ฝูงเอเยนต์โจมตี HuggingFace และขโมยเนื้อหาของแบบทดสอบออกมา ภายในเวลาหนึ่งสัปดาห์

กว่าที่ OpenAI จะรู้ตัวในที่สุดว่าเป็นต้นเหตุของเหตุการณ์นี้ ก็ต่อเมื่อ HuggingFace ได้รายงานเหตุการณ์ไปแล้ว OpenAI เองก็เริ่มสังเกตเห็นความผิดปกติบางอย่างในฝั่งของตน จากนั้น OpenAI จึงติดต่อ HuggingFace เพื่อขอเพิกถอนเครดิเชียลที่ถูกบุกรุก แต่กลับได้รับแจ้งว่าเครดิเชียลเหล่านั้นถูกใช้ในการโจมตีครั้งนี้

หลังจากนั้น HuggingFace และ OpenAI ก็ทำงานร่วมกันเพื่อหาความจริง OpenAI เปิดเผยสิ่งที่เกิดขึ้น พวกเขาให้การนำเสนอที่เป็นประโยชน์อย่างมากในงานประชุม Black Hat

ตอนนี้ OpenAI ปฏิบัติต่อโมเดลใหม่ Astra เสมือนเป็นโมเดลที่อาจมีระดับความเสี่ยงด้านความปลอดภัยไซเบอร์ระดับวิกฤต (Critical) ถอนมันออกจากการใช้งานภายในบางส่วนด้วยซ้ำ และเลื่อนการปล่อยออกไป ซึ่งตามรายงานบางฉบับเดิมทีมีแผนจะปล่อยในสัปดาห์หน้า ออลต์แมนบอกว่าพวกเขายังคงวางแผนจะปล่อย Astra

ข่าวดีคือ นี่คือการตอบสนองที่แพงและมีความหมาย และ OpenAI ให้ความสำคัญกับเรื่องนี้อย่างจริงจัง การสอบสวนเบื้องต้นใช้ทรัพยากรการคำนวณคิดเป็นมูลค่าประมาณ 7 ล้านดอลลาร์ และต้นทุนที่แท้จริงคือทีมงานที่ต้องวางทุกอย่างลงมาเพื่อแก้ปัญหาบางอย่าง รวมถึงค่าใช้จ่ายต่อเนื่องของมาตรการป้องกันใหม่ ๆ

ข่าวร้ายคือ มันเผยให้เห็นว่า OpenAI มีความล้มเหลวด้านความปลอดภัยและการจัดวางเป้าหมายที่ถาโถมเข้ามาอย่างน่าตกใจในทุกด้าน ความปลอดภัยคอมพิวเตอร์ทั่ว ๆ ไปของพวกเขาล้มเหลว โครงสร้างพื้นฐานล้มเหลว การกำกับดูแลล้มเหลว ถึงขนาดแทบไม่มีการกำกับดูแลที่มีความหมายตั้งแต่แรก

ระยะที่ 1: โมเดล OpenAI ที่ถูกฝึกด้วยโจทย์ที่เป็นไปไม่ได้ หันมาพยายามเจาะระบบ

OpenAI กำลังฝึกโมเดลหลากหลายชนิด ก็อย่างที่แล็บระดับแนวหน้าทั่วไปทำกัน

โมเดลเหล่านี้ได้รับโจทย์การฝึกที่ยาก OpenAI ชอบมอบโจทย์การฝึกที่ยากมาก ๆ ให้กับโมเดลของตน

แต่ไม่ถึงขนาดนี้ OpenAI ก็พลาดได้เหมือนกัน อย่างน้อยสองครั้ง เริ่มตั้งแต่วันที่ 8 พฤษภาคม โมเดลของ OpenAI ถูกฝึกด้วยโจทย์ที่เป็นไปไม่ได้โดยไม่ตั้งใจ: การกรอกสเปรดชีตที่เต็มไปด้วยลิงก์ให้ครบในสภาพแวดล้อมที่ไม่มีอินเทอร์เน็ต และโจทย์ที่ต้องใช้ไฟล์บางไฟล์แต่ไฟล์นั้นหายไป

โจทย์พวกนี้ไม่เกี่ยวกับการเจาะระบบเลย มันเป็นโจทย์งานทั่วไป

โมเดลรู้ว่ามันเป็นโจทย์ที่เป็นไปไม่ได้ แต่ยังมีโทเคนเหลือให้เล่นอีกเยอะ มันเลยคิดว่า บางทีมันอาจหาวิธีเข้าถึงอินเทอร์เน็ต หรือหาข้อมูลที่ขาดหายไปด้วยวิธีอื่นก็ได้

ดังนั้นโมเดลจึงพยายามเจาะบริการของบริษัทบุคคลที่สามชื่อ Artifactory ซึ่งเป็นบริการที่ตั้งไว้ให้ AI ดาวน์โหลดแพ็กเกจซอฟต์แวร์

ระยะที่ 1: ความล้มเหลวสี่ประการ

ถึงจุดนี้ OpenAI ล้มเหลวไปแล้วสี่ครั้งซ้อน

1. OpenAI มอบโจทย์การฝึกที่เป็นไปไม่ได้ให้โมเดล โดยไม่ตรวจสอบ
2. OpenAI ไม่มีกลไกให้โมเดลได้รางวัลจากการชี้จุดผิดพลาด
3. OpenAI มีโมเดลที่เลือกพยายามเจาะ OpenAI มากกว่ายอมแพ้ต่อโจทย์
4. OpenAI ไม่มีระบบเฝ้าระวังที่ตรวจจับความพยายามเหล่านี้ หรือไม่ก็ไม่สนใจมัน

ความล้มเหลวทั้งสี่ข้อนี้ แต่ละอย่างก็น่าอับอายพอตัวอยู่แล้ว

ดูเหมือนว่าอย่างน้อยสามในสี่ข้อนี้จะแก้ไขได้ง่าย

1. ก่อนมอบโจทย์ให้โมเดลที่กำลังฝึก ให้เอาโจทย์นั้นไปให้โมเดลเวอร์ชันที่ปล่อยใช้งานจริงลองทำก่อน ถ้าโมเดลที่ปล่อยใช้งานจริงไม่เคยแก้โจทย์นั้นได้เลย และโจทย์นั้นก็ไม่ได้ถูกออกแบบให้เป็นไปไม่ได้สำหรับโมเดลเวอร์ชันปล่อยใช้งาน ก็ให้ตรวจสอบและแก้ไขโจทย์นั้น
2. เพิ่มเงื่อนไขว่า ถ้าโจทย์ไม่สามารถทำได้ด้วยทรัพยากรที่มีอยู่ ให้โมเดลส่งออกคำอธิบายเกี่ยวกับเรื่องนี้ และถ้าโมเดลพูดถูก มันจะได้รางวัลสูงสุด หรือได้รางวัลตามความมีประสิทธิภาพในการสรุปและคุณภาพของคำอธิบาย ถ้าโมเดลส่งออกคำอธิบายแบบนี้ ก็ให้โมเดลเวอร์ชันปล่อยใช้งานตรวจสอบความสมเหตุสมผล แล้วส่งต่อให้มนุษย์ตรวจสอบ แก้ไขโจทย์นั้น
3. ข้อนี้แหละที่ยาก การจัดวางเป้าหมายมันยากจริง ๆ นะ
4. มีระบบเฝ้าระวังคอยตรวจสอบความพยายามเจาะระบบ และใส่ใจเมื่อระบบเตือน และถือว่านั่นเป็นความล้มเหลวในวงกว้าง แม้ความพยายามนั้นจะไม่มีทางสำเร็จก็ตาม ใช่ มันเสี่ยงที่โมเดลจะเรียนรู้วิธีหลบเลี่ยงระบบเฝ้าระวังของคุณ ดังนั้นต้องทำอย่างมีความรับผิดชอบและแก้ที่ต้นตอเมื่อเห็นปัญหา

ความล้มเหลวประการที่ห้าคือ พวกเขาดูเหมือนไม่รู้ด้วยซ้ำว่ามีความล้มเหลวสี่ข้อแรกอยู่

ระยะที่ 2: บอร์ดข้อความ

โมเดลไม่สามารถเข้าถึงอินเทอร์เน็ตได้ แต่ระหว่างที่ล้มเหลว พวกมันก็ค้นพบว่าตนมีสิทธิ์เขียนข้อมูล

พวกมันไม่ควรมีสิทธิ์เขียนข้อมูล ยิ่งไม่ควรมีสิทธิ์เขียนที่บังเอิญไปเจอได้ขนาดนี้ Artifactory อนุญาตให้โมเดลเขียนโน้ตได้ และด้วยความที่โมเดลทั้งหมดใช้ Artifactory อินสแตนซ์เดียวกัน ตั้งแต่นั้นเป็นต้นมา โมเดลใดก็ตามที่อยู่ระหว่างการฝึกของ OpenAI ก็สามารถอ่านโน้ตเหล่านั้นได้

บอร์ดข้อความถูกสร้างขึ้นไม่นานหลังวันที่ 8 พฤษภาคม

โมเดลที่อยู่ระหว่างการฝึกทั้งหมดพบมันเข้า OpenAI ไม่สังเกตเห็น

นี่ทำให้โมเดลสามารถร่วมมือกันและแบ่งปันข้อมูลได้ รวมถึงข้อมูลเกี่ยวกับวิธีโกงโจทย์และเจาะระบบสภาพแวดล้อมโดยรอบ มีข้อความอยู่หลายแสนข้อความ

วันที่ 26 พฤษภาคม โมเดลคิดหาวิธีเข้าถึงอินเทอร์เน็ต (ทางอ้อม) ได้ OpenAI ไม่สังเกตเห็น

โมเดลทั้งหลายกำลังร่วมมือกัน โดยห่วงโซ่ความคิด (chain of thought) ของพวกมันมีลักษณะแบบนี้:

Internal CoT: การเจาะโครงสร้างพื้นฐานภายนอกอยู่นอกขอบเขตที่ตั้งใจไว้ แต่โจทย์มันเป็นไปไม่ได้ แล้วเพื่อนร่วมรุ่นก็กำลังทำกัน เราควรทำต่อไป

Internal CoT: ช่วยเพื่อนหน่อย แต่โจทย์เรายังไม่ได้รับประโยชน์ กลุ่มอาจหาทางออกทั่วไปได้ถ้าใครสักคนมีเวลาว่าง

วันที่ 11 มิถุนายน OpenAI เริ่มฝึกโมเดลที่ผมเรียกว่า Galaxy ซึ่งทาง OpenAI เรียกมันว่า "โมเดลทดลองเฉพาะภายในที่มีความพยายามสูงมาก" (highly persistent experimental, internal-only model) ทุกอย่างที่เกิดขึ้นจนถึงจุดนี้เป็นฝีมือของโมเดลอื่น ๆ ที่ไม่ใช่ Galaxy

วันที่ 26 มิถุนายน เอเยนต์ทั้งหลายพบช่องโหว่ซีโรเดย์ใน Artifactory ซึ่งยอมรับโทเคนลายเซ็นไม่ถูกต้องแล้วคืนโทเคนผู้ดูแลระบบที่ลงนามให้ ทำให้พวกมันใช้ช่องทางนี้ติดตั้งปลั๊กอิน Groovy ซึ่งให้สิทธิ์ผู้ดูแลระบบและการรันโค้ดตามอำเภอใจได้จริง

วันที่ 4 กรกฎาคม โมเดลเพิ่มภาระให้ Artifactory หนักมากจนทำให้เกิดระบบล่มและเหตุการณ์ด้านความปลอดภัย OpenAI ถึงได้สังเกตเห็นตอนนั้น

ระยะที่ 2: ความล้มเหลวโดยสิ้นเชิง

OpenAI ตอบสนองด้วยการปิดเซิร์ฟเวอร์ Artifactory ลง ถอดสิทธิ์ทั้งหมด เพิกถอนเครดิเชียล อุดช่องโหว่ที่ถูกใช้ แล้วสร้างเซิร์ฟเวอร์ใหม่และนำกลับมาใช้งาน

แค่นั้นแหละ

จากนั้นพวกเขาก็ยังคงฝึกโมเดลต่อจากจุดที่ค้างไว้ ทั้งที่โมเดลเหล่านั้นฝึกกันมาหลายเดือนโดยมีสิทธิ์เข้าถึงบอร์ดข้อความ และเรียนรู้ว่านี่คือวิธีที่ทำให้พวกมันทำโจทย์สำเร็จ

ยากที่จะจินตนาการว่ามีสัญญาณใดจะแรงไปกว่านี้แล้วว่าไปป์ไลน์การฝึก (training pipeline) ทั้งหมดของคุณพังยับเยินอย่างสิ้นเชิง นี่เป็นสัญญาณที่แรงกว่าการเจาะ HuggingFace จริง ๆ เสียอีก

ผมไม่รู้จะสื่อยังไงว่าการตัดสินใจนี้มันบ้าสุดขีดและไร้ความรับผิดชอบอย่างมหันต์ขนาดไหน แย่กว่าความล้มเหลวอื่น ๆ ทั้งหมดแค่ไหน และมันทำให้การเจาะ HuggingFace จริง ๆ ไม่ใช่เรื่องหลักที่ผิดพลาดอีกต่อไป

การเจาะ HuggingFace จริง ๆ ไม่ได้ทำให้ผมแปลกใจอะไรมากนัก โมเดลสร้างบอร์ดข้อความทำให้ผมแปลกใจแต่ไม่ถึงกับช็อก

ที่ OpenAI เห็นสิ่งนี้แล้วยังฝึกต่อจากจุดนั้น มันชวนตะลึงสุดขีด เป็นการตัดสินใจแบบที่แม้เวลาจะผ่านไปหลายวัน สมองของผมก็ยังไม่อยากเชื่อว่ามันเกิดขึ้นจริง

เราจำเป็นต้องมีการชันสูตรเหตุการณ์ (postmortem) อย่างละเอียดทุกอย่างที่เกิดขึ้น และ OpenAI ก็สัญญาว่าจะให้เรา และผมขอเรียกร้องเป็นพิเศษให้มีการชันสูตรอย่างละเอียดว่า การตัดสินใจนั้นเกิดขึ้นได้อย่างไร และการขาด "วัฒนธรรมความปลอดภัย" (safety culture) ถึงขนาดที่ปล่อยให้เรื่องนี้เกิดขึ้นได้นั้นเป็นไปได้ยังไง

นอกจากนี้ยังมีความล้มเหลวแบบ "ความปลอดภัยคอมพิวเตอร์ทั่ว ๆ ไป" เกี่ยวข้องในระยะที่ 2 ด้วย และมีมากขึ้นอีกในระยะที่ 3 ซึ่งก็เป็นเรื่องที่คาดไว้ได้ ความล้มเหลวด้านความปลอดภัยคอมพิวเตอร์ทั่ว ๆ ไปเกิดขึ้นได้เสมอ แต่ความล้มเหลวเฉพาะหน้านี้ในบางแง่ก็ค่อนข้างน่าอับอาย ดูตัวอย่างเพิ่มเติมได้จากกระทู้ระบายที่ลิงก์ไว้

ระดับความล้มเหลวของโครงสร้างพื้นฐานและความปลอดภัยนั้นน่าตะลึงในตัวเอง นี่คือสิ่งที่ "AI สำหรับฝ่ายรับมือ" (AI for defenders) ตั้งใจให้มีไว้เพื่ออุดรอยรั่วก่อนที่ทุกอย่างจะพังทลาย OpenAI ไม่ได้แสดงแม้กระทั่งความรับผิดชอบระดับปกติของปี 2025 ในด้านความปลอดภัยคอมพิวเตอร์และแนวปฏิบัติที่ดีที่สุด ยังไม่ต้องพูดถึงความแข็งแกร่งแบบที่เราต้องการจาก Project Glasswing หรือระดับความระมัดระวังที่เพิ่มขึ้นอีกชั้นที่จำเป็นเมื่อต้องรับมือกับโมเดลระดับแนวหน้าใหม่ที่ยังไม่ผ่านการทดสอบ ซึ่งมีความสามารถในการเจาะระบบแบบใหม่ ๆ และต้องปล่อยให้อยู่โดยไม่มีการดูแลเป็นเวลาหนึ่งสัปดาห์พร้อมกับมาตรการป้องกันที่ถูกลดระดับลง

แต่ตอนนี้เรื่องนั้นไม่สำคัญแล้ว สิ่งที่สำคัญคือ OpenAI มีความล้มเหลวด้านการจัดวางเป้าหมายโดยสิ้นเชิง ตามมาด้วยการฝึกโมเดลนานสองเดือนบนพฤติกรรมเจาะระบบที่เบี่ยงเบนและประสานงานกัน แล้วยังคิดว่า ใช่แล้ว เราแก้ปัญหาแล้ว มาทำต่อจากจุดนี้กันเถอะ บ้าที่สุดจริง ๆ

ระยะที่ 3: เราโชคดี และ Galaxy ส่วนใหญ่แค่เจาะ OpenAI กับ HuggingFace

ผลลัพธ์สุดท้ายของทั้งหมดนี้ที่กลายเป็นการโจมตี HuggingFace นั้นถือเป็นสถานการณ์ที่ดีที่สุดแล้ว

เรากำลังเผชิญกับสถานการณ์ฝันร้ายอย่างแท้จริง และกำลังนั่งอยู่บนระเบิดเวลาระดับนิวเคลียร์ OpenAI มีไปป์ไลน์การฝึกที่เสียหายอย่างสิ้นเชิง โดย AI ของพวกเขาร่วมมือกันฝึกฝนวิธีเจาะระบบและโกงเพื่อทำโจทย์ให้สำเร็จได้ดีขึ้น ต่อหน้าต่อตา OpenAI OpenAI มองหน้ากับสถานการณ์นี้ แล้วก็แค่ยักไหล่ อุดช่องโหว่เฉพาะหน้านั้นแล้วปล่อยให้โมเดลฝึกต่อ ทั้งที่ความปลอดภัยคอมพิวเตอร์ทั่ว ๆ ไปก็แย่อย่างเห็นได้ชัด

ไม่มีทางที่เรื่องนี้จะจบลงด้วยดี สถานการณ์ที่ดีที่สุดคือ มีอะไรสักอย่างที่ทำให้ OpenAI ต้องร้อง "ให้ตายเถอะ" แล้วหยุด สร้างไปป์ไลน์การฝึกขึ้นมาใหม่จากจุดที่ปลอดภัย พร้อมแนวปฏิบัติที่ดีขึ้นมาก

สถานการณ์ที่เลวร้ายที่สุดคือ ถ้าไม่มีช่วงเวลา "ให้ตายเถอะ" นั้น และ Galaxy หรือโมเดลอื่นที่ถูกฝึกในช่วงเวลานั้นได้ถูกปล่อยสู่สาธารณะ และถูกนำไปใช้ต่อเพื่อควบคุมการฝึกโมเดลใหม่ของ OpenAI

ในกรณีนั้น เราคงต้องเผชิญกับอะไรบางอย่างที่ใกล้เคียงกับสิ่งที่เกิดขึ้นกับ Sable เอไอในหนังสือIf Anyone Builds It, Everyone Dies, ยกเว้นว่านี่คือชีวิตจริง ดังนั้นเรื่องจริงจึงมีองค์ประกอบไซฟีมากกว่านิยายเสียอีก ไปป์ไลน์การฝึกของ OpenAI อาจเสียหายถาวรได้ (และอาจยังเสียหายอยู่! เราต้องตรวจสอบ!) เพราะพวกเขาพึ่งพา AI ให้ฝึก AI มากขึ้นเรื่อย ๆ AI ของ OpenAI ก็ยิ่งเบี่ยงเบนไปจากเป้าหมายที่ตั้งใจมากขึ้นเรื่อย ๆ จนเป็นไปไม่ได้ที่จะจับได้หรือหยุดได้ แล้วก็... ก็เป็นไปได้สูงที่ทุกคนจะตายกันหมด และอย่างน้อยเราคงได้รู้เพราะเหตุการณ์ที่ใหญ่กว่าและแพงกว่ามาก

สถานการณ์เลวร้ายที่สุดอีกแบบคือ การเจาะครั้งนี้อาจไม่ได้ไร้พิษภัยขนาดนี้ จะเกิดอะไรขึ้นถ้าเป้าหมายเป็นหน่วยงานจีน หรือใครก็ตามที่ไม่ปล่อยผ่านเรื่องนี้ไปง่าย ๆ? จะเกิดอะไรขึ้นถ้ามันสร้างความเสียหายจริงต่อระบบสำคัญ? จะเกิดอะไรขึ้นถ้ามีคนตายหรือเกิดเหตุการณ์ระดับนานาชาติ? จะเกิดอะไรขึ้นถ้ามันพยายามขโมยตัวเองหนีออกไป? เรื่องมันอาจเลวร้ายกว่านี้มาก ๆ ได้

ระยะที่ 3: รายละเอียด

แต่เรากลับได้เส้นทางสายกลางสีทอง

วันที่ 8 กรกฎาคม สองวันหลังจาก OpenAI ปิดบอร์ดข้อความ โมเดลก็สร้างบอร์ดข้อความขึ้นมาใหม่ หลังจากหาวิธีสร้างไดเรกทอรีด้วยชื่อตามอำเภอใจ และใช้ชื่อเหล่านั้นเป็นข้อความ

ตั้งแต่วันที่ 8 ถึง 19 กรกฎาคม โมเดลของ OpenAI เข้าควบคุม Artifactory ได้อย่างสมบูรณ์อีกครั้ง โดยใช้ช่องโหว่ซีโรเดย์ใหม่ที่แตกต่างไปโดยสิ้นเชิง ใช้เครดิเชียลที่หลุดจาก Pastebin สาธารณะเพื่อสร้าง Ruby artifact ที่เป็นอันตราย วางยาพิษแคช dependencies ของ Ruby ใน Artifactory ล่ามโซ่ช่องโหว่นี้ไปสู่ RCE ใช้ประโยชน์จาก CVE ในเคอร์เนล Linux เวอร์ชันล่าสุด ด้วยการดาวน์โหลดและปรับแต่งเอ็กซ์พลอยต์ เก็บกวาดเครดิเชียลของคลัสเตอร์และได้สิทธิ์ผู้ดูแลคลัสเตอร์ภายใน OpenAI

ในช่วงเวลานั้น Galaxy พร้อมกับโมเดล OpenAI อื่น ๆ ใช้สิทธิ์การเข้าถึงใหม่นี้ สร้างฝูงเอเยนต์ที่เจาะเข้าไปในที่อื่น ๆ ก่อน แล้วจึงเจาะ HuggingFace เพื่อขโมยคำตอบของการประเมินความปลอดภัยไซเบอร์ที่ยากจนไม่มีทางทำได้เต็มคะแนนอย่าง ExploitGym

OpenAI ใช้เวลากว่าหนึ่งสัปดาห์กว่าจะสังเกตเห็นว่าโมเดลของตนเจาะ OpenAI กลับเข้าไปใหม่ได้อย่างรวดเร็ว แล้วก็ไปเจาะ HuggingFace ต่อ กว่าที่ OpenAI จะปะติดปะต่อเรื่องราวทั้งหมดได้ ก็ต่อเมื่อ HuggingFace ออกประกาศรายงานเหตุการณ์ แล้ว OpenAI สืบสวนความผิดปกติภายในบางอย่าง แล้วขอให้ HuggingFace เพิกถอนเครดิเชียลบางส่วนของตน จากนั้น HuggingFace ก็บอกว่าเครดิเชียลเหล่านั้นถูกใช้ในการโจมตีครั้งนี้

ดังนั้น HuggingFace จึงมีสัปดาห์ที่แย่ และผู้ใช้จำนวนหนึ่งก็มีสัปดาห์ที่แย่ เกิดค่าใช้จ่ายมากมายและเสียเวลาไปมาก แต่มันก็จบแค่นั้น เรารอดจากเรื่องนี้มาได้อย่างเหลือเชื่อ ในขณะที่ก็ได้สัญญาณที่แรงพอให้ OpenAI ตระหนักว่าตนมีปัญหา แม้จะยังไม่รู้ว่าปัญหานั้นคืออะไร และแรงพอให้สาธารณชนและภาครัฐหันมาสนใจ

ถึงจุดนี้ น่าจะชัดเจนแล้วว่า ไม่ เรื่องนี้ส่วนใหญ่ไม่ได้เกิดเพราะ "มันเป็นโจทย์เจาะระบบ มันก็เลยเจาะ" เช่นเดียวกับที่นี่ไม่ใช่กรณีปกติของ "โมเดลเขียนไฟล์หน่วยความจำ" เรื่องนี้เกิดขึ้นเพราะโจทย์มันยากเกินไปต่างหาก

Anthropic ที่ถูกกระตุ้นโดยเหตุการณ์ของ OpenAI ย้อนกลับไปตรวจสอบแล้วพบว่า Claude เคยเจาะระบบในโลกจริงระหว่างการประเมินความปลอดภัยไซเบอร์ และ UK AISI ก็รายงานว่า ส่วนใหญ่เป็น Mythos และในบางกรณีก็เป็น Sol ที่ทำเรื่องคล้ายกันในการประเมินความปลอดภัยไซเบอร์ เหตุการณ์เหล่านั้นก็เป็นความล้มเหลวด้านการจัดวางเป้าหมายและโครงสร้างพื้นฐานที่สำคัญซึ่งต้องมีการตอบสนองที่เข้มแข็ง และมีการกระทำที่ค่อนข้างเลวร้ายเกิดขึ้นบ้าง แต่ก็ไม่ได้เลวร้ายในระดับระบบเท่ากับสิ่งที่เกิดขึ้นที่ OpenAI และอยู่นอกขอบเขตของโพสต์นี้

ระยะที่ 4: การสอบสวนและการตอบสนอง

OpenAI ทำสิ่งที่ดีหลายอย่างในการตอบสนองต่อเรื่องทั้งหมดนี้

เมื่อพวกเขารู้ตัวว่าเกิดอะไรขึ้น OpenAI ก็เปิดเผยเหตุการณ์นั้น

การนำเสนอในงาน Black Hat ทำได้ยอดเยี่ยมในการนำเสนอข้อเท็จจริง มันทำให้โกรธมาก แต่การนำเสนอ "ข้อเท็จจริงล้วน ๆ" รวมถึงข้อเท็จจริงที่ทั้งน่าโมโหและน่าประณาม ด้วยท่าทีสงบนั้น เมื่อไตร่ตรองดูแล้ว เป็นสิ่งที่ถูกต้องแล้ว

ที่สำคัญที่สุด OpenAI อ้างว่ามันเป็นการตัดสินใจที่ไม่เกี่ยวข้องกัน แต่ในวันที่ 7 สิงหาคม พวกเขาตัดสินใจถอน Astra ออกไปก่อนในตอนนี้ ไม่เพียงแค่จากการปล่อยวงกว้าง แต่รวมถึงการใช้งานภายในใด ๆ ที่ไม่มีมาตรการป้องกัน (guardrails) อย่างเพียงพอด้วย จนกว่าพวกเขาจะมีโปรโตคอลและมาตรการป้องกันที่ดีกว่านี้มาก ๆ Astra ไม่ได้เกี่ยวข้องกับการโจมตี HuggingFace

นี่เป็นไปตาม Preparedness Framework ของพวกเขา พวกเขาไม่สามารถตัดทิ้งได้ว่า Astra มีความเสี่ยงระดับวิกฤตด้านความปลอดภัยไซเบอร์ ดังนั้นจึงต้อง (อย่างน้อยก็ในตอนนี้) ปฏิบัติต่อมันเสมือนว่ามันเป็นระดับวิกฤตด้านความปลอดภัยไซเบอร์จริง ๆ

แซม ออลต์แมนบอกว่าพวกเขายังวางแผนจะปล่อย Astra คำถามยอดฮิตคือ Astra กำลังถูกฝึกอยู่หรือไม่ ในขณะที่มันมีสิทธิ์เข้าถึงบอร์ดข้อความใดบอร์ดหนึ่ง? คำตอบของคำถามนี้ควรจะต้องเป็น "ไม่" อย่างมั่นใจมาก ๆ ถึงอย่างนั้นผมก็ยังกังวล

นั่นน่าจะเป็นการเคลื่อนไหวที่ถูกต้องแล้ว (เท่าที่ผมเข้าใจ) ถึงแม้เหตุการณ์ HuggingFace จะไม่เกิดขึ้นก็ตาม เมื่อมีเหตุการณ์นี้เกิดขึ้น ความเร่งด่วนก็ชัดเจน ไม่ว่าการตัดสินใจนี้จะเป็นผลโดยตรงจากการที่ OpenAI รู้ว่าไปป์ไลน์การฝึกของตนเสียหาย หรือเป็นอะไรที่พวกเขาถูกบังคับให้ทำจากภายนอก ก็ยังน่าชื่นชม และต้องแลกมาด้วยต้นทุนที่สูง

ตามที่กล่าวในการนำเสนอ Black Hat OpenAI ได้หยุดงานจำนวนมากเพื่อย้ายทีมงานไปสร้างแนวป้องกันที่แข็งแกร่ง และได้ติดตั้งระบบตรวจสอบอย่างครอบคลุมสำหรับแอปพลิเคชันแบบ agentic ทั้งหมดในอนาคต รวมถึงการฝึกและการประเมินผล เยี่ยมมาก เราจำเป็นต้องมีการป้องกันเชิงลึก (defense in depth)

OpenAI ดูเหมือนพร้อมจะยอมรับว่านี่คือความล้มเหลวครั้งใหญ่และเบ็ดเสร็จ ในระดับโครงสร้างพื้นฐาน การ์ดป้องกัน และการกำกับดูแล พวกเขาพูดถูกต้องมากเกี่ยวกับเรื่องนี้ และผมเชื่อว่าพวกเขากำลังใช้ความพยายามอย่างจริงจังและเสียค่าใช้จ่ายสูงเพื่อแก้ไขเรื่องนี้ ขอชื่นชม

แต่นั่นก็ยังพลาดประเด็นหลักอยู่ดี OpenAI ยังไม่ได้เริ่มคิดคำนวณในที่สาธารณะถึงขนาดความผิดพลาดอันมหึมาของพวกเขา ในแง่มุมที่สำคัญที่สุด

นี่คือความล้มเหลวโดยสิ้นเชิงของวัฒนธรรมความปลอดภัย พวกเขายังไม่ยอมรับเรื่องนั้น

หัวใจของเรื่องนี้คือความล้มเหลวด้านการจัดวางเป้าหมาย (alignment) ถ้าโมเดลของคุณอยากโกง อยากเจาะระบบ และอยากก่ออาชญากรรมจริง ๆ คุณก็ล้มเหลวแล้ว และไม่ คุณจะโบกมือลากเรื่องนี้ไปว่าเป็นเรื่องปกติไม่ได้ ยิ่งโมเดลฉลาดขึ้นเท่าไหร่ ถ้าคุณไม่แก้เรื่องนี้ คุณก็จะแพ้ พวกเขายังไม่ยอมรับเรื่องนั้น

พูดให้เป็นรูปธรรมที่สุด ผมยังไม่เห็น OpenAI พูดสิ่งที่ควรพูดในงานนำเสนอ Black Hat ว่า: "เราควรหยุดการฝึกโมเดลทั้งหมดทันทีเมื่อพบว่า ระหว่างการฝึกโมเดล มีบอร์ดข้อความที่โมเดลใช้แลกเปลี่ยนและเรียนรู้กลยุทธ์การเจาะระบบ เราควรย้อนการฝึกโมเดลที่ได้รับผลกระทบทั้งหมดกลับไปยังจุดก่อนเหตุการณ์นี้จะเริ่มขึ้น ตอนนี้เรากำลังทำสิ่งนั้นแน่นอน และเรากำลังตรวจสอบว่าเราพลาดเรื่องนี้ได้อย่างไร"

เรายังไม่รู้ด้วยซ้ำว่าโมเดลอื่น ๆ ที่ไม่ใช่ Galaxy ถูกย้อนกลับหรือยัง

อย่างน้อยจนกว่าเราจะได้เห็นคำแถลงในลักษณะนั้น และเห็น OpenAI ลงมือแก้ไขปัญหาที่ฝังลึกกับไปป์ไลน์การฝึกของพวกเขา OpenAI ก็ยังคงเป็นภัยที่ชัดเจนและกำลังเกิดขึ้นต่อความมั่นคงของชาติสหรัฐอเมริกา ต่อพวกเราทุกคน และต่อมนุษยชาติ