ห้องแล็บที่ฉลาดที่สุดในโลกส่งสินค้าผิดโดยไม่ได้ตั้งใจได้อย่างไร
ฉันขอให้โมเดลสาธารณะที่ทรงพลังที่สุดของ Anthropic ช่วยแก้ไขเรียงความเกี่ยวกับ Anthropic แต่มันกลับไม่มีโอกาสได้ทำ ฉันแนบร่างนี้และพิมพ์คำเจ็ดคำที่ดูไม่มีพิษมีภัย: "เรียบเรียงใหม่ให้ POP จัดรูปแบบสำหรับ Twitter" แอปพลิเคชันก็เปลี่ยนงานจาก Fable 5 ไปเป็น Opus 4.8 โดยอัตโนมัติ คำอธิบายของมันเรียบง่าย: "ระบบป้องกันของ Fable ทำเครื่องหมายข้อความนี้"
เพื่อให้ชัดเจน นี่ไม่ใช่การจำกัดอัตราทั่วไป Fable ไม่ได้ตอบแล้วปฏิเสธ ระบบป้องกันของ Anthropic สกัดกั้นคำขอก่อนที่โมเดลที่เลือกจะตอบสนอง และส่งต่อไปยังโมเดลอื่นแทน Anthropic ได้อธิบายว่านี่คือวิธีการทำงานของระบบ: เมื่อตัวจำแนกประเภทของ Fable บล็อกคำขอ คำขอนั้นจะถูกส่งไปยัง Opus 4.8 บริษัทยังยอมรับว่าจงใจขยายขอบเขตความปลอดภัยของตัวจำแนกประเภท โดยรู้ว่าผลลัพธ์ที่ได้จะเป็นผลบวกปลอมมากขึ้นสำหรับงานที่ไม่เป็นอันตราย (Anthropic
ฉันไม่รู้ว่าระบบป้องกันทำงานเพราะอะไร และฉันไม่ได้กล่าวหา Anthropic ว่าเซ็นเซอร์คำวิจารณ์ ข้อเท็จจริงที่ตรวจสอบได้—และแปลกพอสมควร—คือคำขอแก้ไขงานทั่วไปถูกจับโดยระบบป้องกันที่คำเตือนของมันเองพูดถึงผลบวกปลอมในการเขียนโค้ด ไซเบอร์ซีเคียวริตี้ และงานชีววิทยาที่ถูกต้องตามกฎหมาย มันเป็นจุดเริ่มต้นที่เกือบจะตลกสมบูรณ์แบบสำหรับเรียงความเกี่ยวกับทีมที่สร้างสิ่งที่หลายคนเชื่อว่าเป็นระบบ AI ที่ฉลาดที่สุดในโลก
เรียงความนี้สำรวจสิ่งที่เกิดขึ้นเมื่อระบบหมกมุ่นอยู่กับประสิทธิภาพของส่วนประกอบแต่ละส่วน จนมองไม่เห็นผลลัพธ์ที่ระบบทั้งหมดมีอยู่เพื่อสร้าง โมเดลอาจฉลาด ระบบป้องกันอาจทำงานตามที่ออกแบบไว้ทุกประการ และนโยบายการกำหนดราคาอาจสมเหตุสมผลสำหรับคนที่สร้างมัน แต่งานของผู้ใช้ก็ยังคงไม่เสร็จ
หลักฐาน ก:
ฉันขอให้ Fable 5 แก้ไขบทความนี้ ระบบป้องกันของ Anthropic ทำเครื่องหมายคำขอและเปลี่ยนไปใช้ Opus 4.8
ไก่กับไข่
ในปี 1982 นักพันธุศาสตร์แห่งมหาวิทยาลัย Purdue ชื่อ William Muir เริ่มการทดลองผสมพันธุ์ที่ผิดปกติกับแม่ไก่ไข่ Muir ต้องการรู้ว่าจะเกิดอะไรขึ้นหากเลือกผลผลิตในระดับกลุ่มแทนที่จะเป็นระดับบุคคล แทนที่จะผสมพันธุ์จากไก่ตัวที่ให้ผลผลิตสูงสุดเพียงตัวเดียว—ซึ่งเป็นการวัดผลผลิตของแต่ละบุคคล—เขากลับเลี้ยงไก่ที่เกี่ยวข้องกันไว้ด้วยกันและเลือกกลุ่มครอบครัวทั้งหมดตามประสิทธิภาพโดยรวม กรง แทนที่จะเป็นไก่ตัวเดียว กลายเป็นหน่วยของการคัดเลือก (PubMed
ต่อมา Margaret Heffernan เปลี่ยนโปรแกรมการผสมพันธุ์ทางเทคนิคของ Muir ให้เป็นเรื่องราว "ซูเปอร์ไก่" ที่มีชื่อเสียง สำหรับผู้จัดการ เรื่องราวของเธอกลายเป็นคำเตือนที่น่ากลัว: การจ้างคนที่เก่งที่สุดและฉลาดที่สุดไม่ได้ให้ผลลัพธ์ที่ดีที่สุดเสมอไป ในการเล่าเรื่องของเธอ ฝูงไก่กลุ่มหนึ่งได้รับอนุญาตให้เป็นฝูงธรรมดา—ไม่มีซูเปอร์ไก่ กลุ่มที่สองถูกผสมพันธุ์ซ้ำแล้วซ้ำเล่าจากไก่แต่ละตัวที่ให้ผลผลิตมากที่สุด เธอเรียกพวกมันว่า "ไก่ระดับออลสตาร์" (Purdue Alumnus
ผลลัพธ์ที่ได้น่าทึ่งมาก ตลอดหกรุ่น อัตราการตายต่อปีในฝูงที่ Muir คัดเลือกแบบกลุ่มลดลงจาก 68 เปอร์เซ็นต์เหลือ 8.8 เปอร์เซ็นต์ ในช่วงเวลาเดียวกัน ผลผลิตเพิ่มขึ้นจาก 91 เป็น 237 ฟองต่อแม่ไก่หนึ่งตัว—เพิ่มขึ้น 2.6 เท่าของผลผลิตเดิม ในการเปรียบเทียบแบบตัวต่อตัวในภายหลังในกลุ่มละสิบสองตัว สายพันธุ์การค้าที่คัดเลือกเพื่อประสิทธิภาพของแต่ละบุคคลมีอัตราการตาย 89 เปอร์เซ็นต์เมื่ออายุ 58 สัปดาห์ ฝูงที่ Muir คัดเลือกแบบกลุ่มมีอัตราการตายเพียง 20 เปอร์เซ็นต์ ในขณะที่กลุ่มควบคุมที่ไม่ได้รับการคัดเลือกมีอัตราการตาย 54 เปอร์เซ็นต์ ในสภาพแวดล้อมกลุ่มเดียวกัน ฝูงที่คัดเลือกแบบกลุ่มมีประสิทธิภาพเหนือกว่าออลสตาร์เชิงพาณิชย์ในด้านจำนวนไข่ต่อแม่ไก่หนึ่งตัว มวลไข่ และจำนวนไข่ต่อแม่ไก่ต่อวัน (PubMed
ในขณะเดียวกัน ฝูงซูเปอร์ไก่ก็อ่อนแอและทรุดโทรม ในเวอร์ชันของการทดลองที่ทำให้เรื่องราวมีชื่อเสียง หกในเก้าตัวของไก่ออลสตาร์ตาย และสามตัวที่เหลือถูกจิกจนขนร่วง ฝูงไก่ได้จิกกันเองจนตาย เกือบจะตามตัวอักษร (Purdue Alumnus
บทเรียนไม่เคยคือความธรรมดาเอาชนะพรสวรรค์ บทเรียนที่แท้จริงคือผลลัพธ์ของคุณจะสะท้อนถึงสิ่งที่คุณให้รางวัล เลือกเฉพาะประสิทธิภาพของแต่ละบุคคล และคุณอาจสร้างทีมที่อ่อนแอกว่าโดยไม่ตั้งใจ เพราะลักษณะที่ทำให้บุคคลหนึ่งครอบงำผู้อื่นสามารถลดผลผลิตของทุกคนรอบข้างได้ เลือกบุคคลตามสิ่งที่พวกเขามีส่วนร่วมกับกลุ่ม และคุณสมบัติที่หายไปในการจัดอันดับของแต่ละบุคคล—ความเข้ากันได้ การยับยั้งชั่งใจ ความน่าเชื่อถือ และความร่วมมือ—ก็จะมองเห็นได้ในทันที
การมีส่วนร่วมที่แท้จริงของไก่ไม่ใช่เพียงแค่จำนวนไข่ที่มันสามารถผลิตได้ มันรวมถึงสิ่งที่การปรากฏตัวของมันอนุญาต—หรือขัดขวาง—ให้ไก่ตัวอื่นผลิต Muir ไม่ได้ละทิ้งผลผลิตเพื่อความสามัคคี เขาค้นพบว่าในระบบสังคม ความสามัคคีเป็นส่วนหนึ่งของผลผลิต หน่วยของประสิทธิภาพที่แท้จริงไม่ใช่ไก่ มันคือเล้าไก่
ฉันเรียนรู้บทเรียนที่ได้มาอย่างยากลำบากในเวอร์ชันหนึ่งขณะบริหารบริษัทก่อสร้างของตัวเอง เป็นเวลาหลายปีที่การหาคนช่วยที่ไว้ใจได้ในธุรกิจเฉพาะของเรานั้นยากมาก จนออลสตาร์คนหนึ่งรู้สึกเหมือนเป็นความรอด แต่คนที่ดูเหมือนออลสตาร์มักมาพร้อมกับภาษีที่ซ่อนอยู่: ข้อยกเว้นพิเศษ การจัดการพิเศษ ขวัญกำลังใจที่เสียหาย และแรงเสียดทานที่ทีมที่เหลือต้องแบกรับ
ในที่สุดฉันก็หยุดถามเพียงว่า "คนนี้เก่งในงานฝีมือแค่ไหน?" และเริ่มถามว่า "จะเกิดอะไรขึ้นกับงานของคนอื่นๆ เมื่อคนนี้มาร่วมทีม?" คนที่ดูแข็งแกร่งที่สุดไม่ใช่คนที่ทำให้บริษัทแข็งแกร่งขึ้นเสมอไป ช่างฝีมือระดับปรมาจารย์ที่ทำให้ทุกสายงานที่เกี่ยวข้องช้าลง ใช้ความสนใจของหัวหน้างาน หรือขับไล่คนที่ไว้ใจได้ออกไป อาจดูน่าประทับใจเมื่ออยู่ตามลำพัง แต่มีราคาแพงในทางปฏิบัติ คนงานที่เงียบกว่าซึ่งทำให้ทั้งทีมเชื่อถือได้มากขึ้น อาจมีส่วนร่วมมากกว่าที่ผลงานแต่ละคนของเขาบ่งบอก
ซูเปอร์เล้า
Anthropic ได้รวบรวมฝูงไก่ที่ฉลาดจริงๆ ไว้ด้วยกันจริงๆ การวิเคราะห์ของ SignalFire ในปี 2025 โดยอิงจากข้อมูลการจ้างงานสาธารณะ ประมาณการว่าวิศวกรมีแนวโน้มที่จะย้ายจาก OpenAI ไปยัง Anthropic มากกว่าย้อนกลับถึงแปดเท่า และมีแนวโน้มที่จะย้ายจาก DeepMind ไปที่นั่นเกือบสิบเอ็ดเท่า นอกจากนี้ยังประมาณการว่า 80 เปอร์เซ็นต์ของพนักงาน Anthropic ที่ได้รับการว่าจ้างอย่างน้อยสองปีก่อนหน้านั้นยังคงอยู่จนถึงสิ้นปีที่สอง เทียบกับ 78 เปอร์เซ็นต์ที่ DeepMind และ 67 เปอร์เซ็นต์ที่ OpenAI (SignalFire
ตัวเลขเหล่านั้นไม่ได้อธิบายถึงบริษัทที่ดิ้นรนเพื่อดึงดูดหรือรักษาผู้มีความสามารถ พวกมันอธิบายถึงแม่เหล็กดึงดูดออลสตาร์
นั่นไม่ได้หมายความว่าพนักงานของ Anthropic กำลังจิกกันตาย นั่นคงเป็นการเปรียบเทียบที่ถูก และตัวเลขความสามารถก็ไม่ได้พิสูจน์ อันตรายที่สำคัญกว่านั้นละเอียดอ่อนกว่า เมื่อบริษัทสามารถชี้ให้เห็นถึงนักวิจัยที่ยอดเยี่ยม อัตราการรักษาพนักงานที่สูงผิดปกติ และโมเดลที่ล้ำหน้าได้อย่างน่าเชื่อถือ มันก็กลายเป็นเรื่องง่ายที่จะถือว่าความเป็นเลิศในส่วนประกอบแต่ละส่วนเป็นข้อพิสูจน์ว่าระบบทั้งหมดทำงานได้ดี
การทดลองของ Muir แสดงให้เห็นว่าเหตุใดการอนุมานนั้นจึงไม่น่าเชื่อถือ อันตรายไม่ใช่ความฉลาดเสียเอง อันตรายคือการวัดประสิทธิภาพต่ำกว่าระดับที่ถูกต้องหนึ่งระดับ
โมเดลไม่ใช่ผลิตภัณฑ์
อุตสาหกรรม AI สร้างขึ้นจากซูเปอร์ไก่: นักวิจัยที่มีชื่อเสียง โมเดลที่ทำลายสถิติเบนช์มาร์ก แพ็คเกจค่าตอบแทนมหาศาล และหน้าเปิดตัวที่เต็มไปด้วยคำคุณศัพท์ขั้นสูงสุด ภายในห้องแล็บ ลำดับชั้นการจิกนั้นชัดเจน ภายนอกเราเห็นแต่ไข่เท่านั้น
ซิลิคอนแวลลีย์มีจุดบอดที่ชัดเจน: ทีมของคุณอาจยอดเยี่ยมในขณะที่ผลิตภัณฑ์ที่คุณสร้างขึ้นยังคงน่าหงุดหงิด เข้าถึงไม่ได้ หรือไม่น่าเชื่อถือ
ผู้ใช้ทุกวันไม่ได้ตัดสินโมเดลจากทีมไก่ที่มีความสามารถหรือเบนช์มาร์กของมัน เรามีเพียงโมเดล แอปพลิเคชัน ระบบป้องกัน ขีดจำกัดการใช้งาน ราคา การสนับสนุนลูกค้า
สองบริษัท ห่างกัน 74 นาที
เมื่อวันที่ 17 กรกฎาคม Anthropic ตอบสนองต่อความต้องการล้นหลามของ Fable ด้วยการประนีประนอม เริ่มตั้งแต่วันที่ 20 กรกฎาคม สมาชิก Max และ Team Premium จะได้รับ Fable เป็นส่วนหนึ่งของแผน แต่จำกัดที่ครึ่งหนึ่งของขีดจำกัดปกติ ผู้ใช้ Pro และ Team Standard จะยังคงเข้าถึงโมเดลผ่านเครดิตการใช้งาน และจะได้รับเครดิต 100 ดอลลาร์ครั้งเดียว
https://x.com/claudeai/status/2078302415804379218
เจ็ดสิบสี่นาทีต่อมา Thibault Sottiaux จาก OpenAI ประกาศว่าขีดจำกัดการใช้งานถูกรีเซ็ตสำหรับผู้ใช้ Codex และ ChatGPT Work แบบชำระเงินทุกคน
นี่ไม่ใช่ข้อเสนอที่เทียบเท่าทางเศรษฐกิจ Anthropic กำลังกำหนดนโยบายการเข้าถึงอย่างต่อเนื่องสำหรับโมเดลที่ใช้การคำนวณสูงผิดปกติ ในขณะที่ OpenAI กำลังให้การรีเซ็ตชั่วคราวหลังจากการเปิดตัวผลิตภัณฑ์ที่ยากลำบาก ข้อแม้นั้นสำคัญ อย่างไรก็ตาม ความแตกต่างในท่าทีของผลิตภัณฑ์นั้นยากที่จะมองไม่เห็น
https://x.com/thsottiaux/status/2078320950488297917
OpenAI ไม่ได้กระทำจากตำแหน่งที่สมบูรณ์แบบ เมื่อเร็วๆ นี้มันได้ทำให้การเปิดตัวเดสก์ท็อปและ ChatGPT Work ของตัวเองบางส่วนล้มเหลว และ Sottiaux ได้ยอมรับต่อสาธารณะว่าบริษัท "ไม่ได้ทำทุกอย่างถูกต้องนัก" ผู้ใช้พบกับการตั้งค่าการคำนวณสูงที่สับสน ต้นทุนการใช้งานที่ทึบแสง และการออกแบบใหม่ที่ขัดขวางขั้นตอนการทำงานที่คุ้นเคย OpenAI ตอบสนองด้วยการเปลี่ยนค่าเริ่มต้น สัญญาว่าจะซ่อมแซมอินเทอร์เฟซ และรีเซ็ตการใช้งานซ้ำแล้วซ้ำเล่าเพื่อให้ลูกค้าสามารถทำงานต่อไปได้
องค์กรหนึ่งกำลังหาเหตุผลสนับสนุนความขาดแคลน
อีกองค์กรหนึ่งกำลังสร้างความปรารถนาดี
OpenAI ไม่ใช่ฝูงไก่ธรรมดา มันเต็มไปด้วยพรสวรรค์ที่ยอดเยี่ยมเช่นกัน และมันได้ทำผิดพลาดทางวัฒนธรรมและผลิตภัณฑ์ที่ร้ายแรงด้วยตัวของมันเอง ความแตกต่างที่มีความหมายในขณะนี้ไม่ใช่ความฉลาด ไม่ว่าจะในโมเดลหรือในเล้าไก่ มันคือสิ่งที่ระบบดูเหมือนจะให้รางวัลเมื่อเกิดแรงกดดัน
ในช่วงเวลาที่ดีที่สุด ท่าทีผลิตภัณฑ์ปัจจุบันของ OpenAI นั้นธรรมดาอย่างไม่ลดละ มันเริ่มต้นด้วยงานของผู้ใช้: คนนี้พยายามทำอะไรให้สำเร็จ? อะไรขัดขวางไม่ให้พวกเขาเสร็จ? แรงเสียดทานอยู่ที่ไหน และเราจะกำจัดมันได้เร็วแค่ไหน? การรีเซ็ตไม่ได้พิสูจน์ว่า OpenAI แก้ปัญหาวัฒนธรรมผลิตภัณฑ์ได้แล้ว แต่มันแสดงให้ผู้ใช้เห็นถึงสัญชาตญาณในการดูดซับต้นทุนของความผิดพลาดของตัวเองบางส่วน แทนที่จะปล่อยให้พวกเขาแบกรับทั้งหมด
ท่าทีผลิตภัณฑ์ของ Anthropic มักจะสื่อถึงสิ่งที่แตกต่างออกไป: เราได้สร้างความฉลาดที่ยอดเยี่ยม และความรับผิดชอบหลักของเราคือการกำหนดว่าคุณสามารถเข้าถึงมันได้มากแค่ไหนอย่างปลอดภัย นั่นอาจเป็นท่าทีของสถาบันที่สอดคล้องกัน แต่มันไม่ใช่ท่าทีที่เน้นลูกค้าเป็นศูนย์กลาง ไข่ทองคำนั้นน่าประทับใจ แต่มันไม่ได้เลี้ยงครอบครัวเมื่อเล้าไก่ไม่ยอมให้คุณเก็บมัน
บริษัทหนึ่งกำลังจัดระเบียบตัวเองรอบงานของผู้ใช้มากขึ้นเรื่อยๆ อีกบริษัทยังคงจัดระเบียบตัวเองรอบความเสี่ยงเชิงระบบ ทั้งสองบริษัทต้องใส่ใจทั้งสองคำถาม แต่คำถามที่พวกเขาถามก่อนจะกำหนดรูปร่างของผลิตภัณฑ์ที่พวกเขาจะสร้างขึ้นในที่สุด ความแตกต่างไม่ได้ปรากฏเฉพาะในแถลงการณ์พันธกิจเท่านั้น มันปรากฏในการกำหนดเส้นทาง ขีดจำกัด การกำหนดราคา การสื่อสาร และความเต็มใจที่จะซ่อมแซมความไว้วางใจเมื่อระบบล้มเหลว
เล้าทั้งหมด
วัฒนธรรมไม่ใช่สิ่งที่บริษัทพูดถึงตัวเอง วัฒนธรรมคือสิ่งที่ระบบของมันทำให้ง่ายขึ้นซ้ำแล้วซ้ำเล่า—และสิ่งที่มันทำให้ยากขึ้นซ้ำแล้วซ้ำเล่า
Anthropic ไม่ต้องการคนเก่งน้อยลง มันต้องการคำจำกัดความของความสำเร็จที่กว้างขึ้น ซึ่งรวมถึงไม่เพียงแค่ความฉลาดของโมเดลและความแข็งแกร่งของระบบป้องกันเท่านั้น แต่ยังรวมถึงการเข้าถึง ความน่าเชื่อถือ ความโปร่งใส และความไว้วางใจ จากฝั่งลูกค้า การวัดขั้นสุดท้ายนั้นเรียบง่ายอย่างน่าประหลาดใจ: ฉันสามารถพึ่งพาระบบทั้งหมดนี้ให้ทำงานเสร็จได้หรือไม่?
Muir ไม่ได้ทำให้ไก่ของเขามีประสิทธิผลน้อยลง เขาเปลี่ยนระดับที่วัดผลผลิตและค้นพบว่าประสิทธิภาพโดยรวมมีข้อมูลที่นับไข่แต่ละฟองไม่สามารถจับได้ นกที่ถูกคัดเลือกเพื่อประสิทธิภาพของกลุ่มมีสุขภาพดีขึ้นและมีประสิทธิผลมากขึ้นเพราะปฏิสัมพันธ์ที่ทำลายล้างไม่ถูกมองไม่เห็นอีกต่อไปในเมตริก ความร่วมมือไม่ใช่ทางเลือกที่ซาบซึ้งแทนผลผลิต มันเป็นหนึ่งในเงื่อนไขที่ทำให้ผลผลิตมากขึ้นเกิดขึ้นได้
การแข่งขันโมเดลระดับแนวหน้ากำลังเข้าสู่ระยะเดียวกัน เมื่อมีเพียงห้องแล็บเดียวเท่านั้นที่สามารถผลิตความฉลาดที่ยอดเยี่ยมได้ โมเดลที่ฉลาดที่สุดอาจดูแยกไม่ออกจากผลิตภัณฑ์ที่ดีที่สุด เมื่อห้องแล็บหลายแห่งสามารถผลิตความฉลาดที่ยอดเยี่ยมได้ ข้อได้เปรียบทางการแข่งขันก็เคลื่อนออกไปสู่ทั้งระบบ
โมเดลที่ฉลาดที่สุดในโลกไม่ใช่ผลิตภัณฑ์ที่ดีที่สุดหรือเหมาะสมกับตลาดมากที่สุดโดยอัตโนมัติอีกต่อไป Claude อาจเป็นไก่ที่ใหญ่ที่สุดและฉลาดที่สุดใน AI แต่ไม่มีใครนอกเล้าไก่ให้เกรดไก่ เรากำลังนับแต่ไข่เท่านั้น
—
แหล่งที่มา
William M. Muir, "Group Selection for Adaptation to Multiple-Hen Cages," Poultry Science (1996).
https://pubmed.ncbi.nlm.nih.gov/8786932/
William M. Muir, "Incorporation of Competitive Effects in Breeding Programs," Purdue University.
https://web.ics.purdue.edu/~bmuir/papers/muir%20group%20selection%20genetics%20final%20v2.pdf
Margaret Heffernan, A Bigger Prize.
https://www.hachettebookgroup.com/titles/margaret-heffernan/a-bigger-prize/9781610392914/
Margaret Heffernan, "Is the Professional Pecking Order Doing More Harm Than Good?," NPR/TED Radio Hour.
SignalFire, "The State of Tech Talent Report — 2025."
https://www.signalfire.com/blog/signalfire-state-of-talent-report-2025
Anthropic, "Claude Fable 5 and Claude Mythos 5."
https://www.anthropic.com/news/claude-fable-5-mythos-5
—
การเปิดเผย AI: ฉันพัฒนาแนวคิดและเขียนร่างต้นฉบับจากประสบการณ์ของตัวเอง จากนั้นใช้ ChatGPT เพื่อช่วยค้นคว้า จัดโครงสร้างใหม่ และเขียนร่างบางส่วนของเรียงความ ฉันตรวจสอบและแก้ไขข้อความสุดท้ายและรับผิดชอบต่อข้อกล่าวอ้างและข้อสรุปของมัน
**อยากรู้ว่าฉันกำลังสร้างอะไรอยู่หรือเปล่า?
AI ที่อ้างอิงแหล่งที่มาของมัน:**
