ในเดือนเมษายน ปี 1965 สำนักข่าวของโซเวียตได้ประกาศการค้นพบ "อารยธรรมขั้นสูง" (supercivilization) ความตื่นตระหนกทั้งหมดนั้นมาจากผลงานของชายเพียงคนเดียว: Nikolai Kardashev นักดาราศาสตร์ชาวโซเวียตผู้หมกมุ่นอยู่กับคำถามต่อไปนี้: หากคุณตรวจพบอารยธรรมที่ก้าวหน้ากว่าคุณไปไกลแสนไกล คุณจะพูดอะไรเกี่ยวกับมันได้อย่างมีหลักการรองรับหรือไม่?
เขามีชื่อเสียงขึ้นมาได้จากคำตอบที่เขาเสนอ แทนที่จะมุ่งเน้นไปที่สติปัญญา เจตนา หรือพฤติกรรม ซึ่งล้วนซับซ้อนและประเมินได้ยาก เขาสร้างทฤษฎีที่ว่าด้วยวิธีที่อารยธรรมต่าง ๆ ใช้พลังงาน "อุณหพลศาสตร์ไม่สนใจหรอกว่าคุณฉลาดแค่ไหน" - เขากล่าวไว้เช่นนั้น -
สุดท้ายแล้วสิ่งที่พบกลับกลายเป็นเควซาร์ (quasar) การวัดค่าไม่มีปัญหาอะไร เพียงแต่ไม่มีมนุษย์ต่างดาวอยู่เบื้องหลังตัวเลขเหล่านั้น
การวัดมาตรฐานในยุคของซูเปอร์อินเทลลิเจนซ์
61 ปีต่อมา ตอนนี้เรากำลังเผชิญกับความตื่นตระหนกที่คล้ายกันอย่างประหลาด ดูเหมือนเรากำลังอยู่ในจุดที่จะสร้างสติปัญญาที่กำลังจะก้าวข้ามมนุษย์ที่ฉลาดที่สุดเท่าที่เคยมีมา และถึงกระนั้น มันสำคัญอย่างยิ่งที่เราจะต้องสามารถบอกอะไรที่มีความหมายเกี่ยวกับพวกมันได้ นั่นคือ เราจำเป็นต้องมีเกณฑ์มาตรฐาน (benchmark) สำหรับพวกมัน
เหตุผลนั้นเรียบง่ายมาก: การจัดสรรทรัพยากร ไม่ว่าสติปัญญาของพวกมันจะเหนือกว่าเราแค่ไหน เราก็ยังต้องการความคุ้มค่าสูงสุดจากเวลาและเงินที่ลงทุนไป ไม่มีใครใช้ Stockfish 13 ในการวิเคราะห์หมากหมากรุกเชิงลึก เมื่อโมเดลปี 2026 ทำได้ดีกว่าอยู่แล้ว
แล้วทำไมเราถึงใช้เกณฑ์มาตรฐานที่มีอยู่ตอนนี้ต่อไปไม่ได้ล่ะ?
ปัญหาเฉพาะหน้าที่เห็นได้ชัดคือภาวะอิ่มตัว (saturation) แบบทดสอบแบบตายตัวจะหมดประโยชน์ทันทีที่ทุกโมเดลทำคะแนนได้ 100% และนั่นกำลังเกิดขึ้นแล้ว เกณฑ์มาตรฐานที่ถูกมองว่ายากเมื่อสามปีก่อน ตอนนี้โมเดลราคาถูกก็ผ่านฉลุย คุณอาจเขียนแบบทดสอบที่ยากขึ้นเรื่อย ๆ ได้ แต่ก็ทำได้แค่ระดับที่มนุษย์คนหนึ่งจะเขียนออกมาได้เท่านั้น ซึ่งนำเราไปสู่ปัญหาที่แท้จริง
จนถึงตอนนี้ เราวัดสติปัญญาด้วย "แบบทดสอบปิด" (closed tests) เป็นส่วนใหญ่ เมื่อผมพูดถึงคำว่า "ปิด" ผมหมายถึง แบบทดสอบที่เรารู้คะแนนหรือเฉลยก่อนที่การทดสอบจะเริ่มขึ้น (แบบทดสอบ IQ, แบบทดสอบคณิตศาสตร์, การเขียนโปรแกรม...) เราใช้แบบทดสอบประเภทนี้ด้วยเหตุผลที่ชัดเจน 1. มีความเป็นปรนัย 2. ประเมินผลได้ค่อนข้างเร็ว 3. ความเคยชิน: มันเป็นวิธีที่เราใช้ทดสอบมนุษย์กันตามปกติ
แต่ทันทีที่คุณเริ่มคิดจะนำแบบทดสอบเหล่านี้ไปใช้กับ AI ที่ฉลาดกว่า ปัญหาก็จะดูชัดเจนขึ้นมาทันที - ข้อสอบเหล่านี้ออกแบบมาให้สติปัญญาที่สูงกว่าใช้จัดอันดับสติปัญญาที่ต่ำกว่า: ครูกับศิษย์ นี่คือเหตุผลที่เราต้องเริ่มคิดและออกแบบวิธีการประเมินรูปแบบใหม่ พวกเราซึ่งเป็นสติปัญญาที่ต่ำกว่า - ศิษย์ - จะต้องประเมิน SI (Superintelligence) - ครู - โดยยังคงรับประกันความเป็นปรนัยไว้ให้ได้
ปัญหานี้ คือ สติปัญญาที่ด้อยกว่าจะประเมินสติปัญญาที่เหนือกว่าอย่างรัดกุมได้อย่างไร ผมขอเรียกว่า "ปัญหา Kardashev" (Kardashev problem) และเป็นสิ่งที่ผมหลงใหลมากที่สุดเป็นการส่วนตัว (และเป็นเหตุผลที่ผมตัดสินใจสร้าง Kardashevian.com
เกณฑ์มาตรฐานสำหรับซูเปอร์อินเทลลิเจนซ์ในอนาคต
เรามีหลักการหนึ่งที่ช่วยชีวิตเราได้: การตรวจสอบคำตอบนั้นง่ายกว่าการหาคำตอบอย่างเทียบไม่ติด ซูโดกุใช้เวลาและความพยายามในการแก้ แต่การตรวจตารางที่เติมเสร็จแล้วใช้เวลาแค่สามสิบวินาที และในกรณีส่วนใหญ่ ตัวตรวจสอบภายนอก (external verifier) จะช่วยให้เราประเมินคุณภาพและสติปัญญาของระบบขั้นสูงเหล่านี้ได้อย่างเป็นปรนัยที่สุด
ระบบตรวจสอบภายนอก 4 รูปแบบที่ผมมองเห็นสำหรับอนาคตของการทำ benchmarking:
- โลกคือผู้ตรวจสอบ เควสต์ปลายเปิด: เป้าหมาย; ไม่ใช่คำถามและคำตอบ โลกจะเป็นคนให้คะแนนเป้าหมาย ยิ่งสูงหรือยิ่งถูกปรับให้เหมาะสม (optimized) มากเท่าไหร่ก็ยิ่งดี
**-ตัวอย่าง: การเทรดจำลอง (paper trading) แนวทาง value investing ในตลาดหุ้น
**
ในสถานการณ์นี้ ความซับซ้อนของโลกแห่งความจริงนั้นกว้างใหญ่และมีพลวัตสูงมาก (เปลี่ยนแปลงและตอบสนองตลอดเวลา) จนทำให้ความท้าทายนี้แทบเป็นไปไม่ได้เลยที่จะเกิดภาวะอิ่มตัว ผมวางแผนจะเขียนบทความอีกชิ้นต่อจากนี้เพื่ออธิบายว่าทำไมผมถึงเชื่อว่า value investing เป็นการทดสอบสติปัญญาที่ยอดเยี่ยม แก่นหลักอยู่ที่ สมมติฐาน ที่ว่า ระบบที่สามารถทำนายพฤติกรรมของโลก รวมถึงมนุษย์และตลาด ได้อย่างแม่นยำ คือหนึ่งในสัญญาณที่ชัดเจนที่สุดของสติปัญญา
2. กฎกติกาและตัวเกมคือผู้ตรวจสอบ การแข่งขัน หมากรุกแสดงให้เห็นอีกครั้งว่า แม้จะมีผู้เล่นที่เก่งกว่ามนุษย์ เราก็ยังสามารถรู้ได้ว่าโมเดล X ดีกว่าโมเดล Z ระบบ ELO ที่เราใช้ใน Kardashevian.com ยังช่วยให้เราไม่เพียงแค่เห็นว่าใครชนะ แต่ยังรักษาคะแนนบอร์ดที่มีนัยสำคัญทางสถิติได้อีกด้วย
-ตัวอย่าง: หมากรุก, หมากล้อม (Go), หรือเกมที่ซับซ้อนกว่านั้นอีกนับไม่ถ้วนซึ่งสามารถสร้างขึ้นเพื่อวัตถุประสงค์นี้ได้โดยเฉพาะ
**
- ฟิสิกส์และเคมีคือผู้ตรวจสอบ วิศวกรรมขั้นสูง เราจำกัดขอบเขตการทดสอบไว้ที่ฟิสิกส์และเคมี แล้วปล่อยให้ธรรมชาติเป็นคนให้คะแนน **
-ตัวอย่าง: ออกแบบวัสดุที่มีคุณสมบัติตามที่กำหนด จากนั้นสังเคราะห์มันขึ้นมาในห้องปฏิบัติการอัตโนมัติแล้วนำไปทดสอบ
4. ตรรกะคือผู้ตรวจสอบ. การพิสูจน์เชิงรูปนัย (Formal Proof) คณิตศาสตร์ที่เขียนด้วยภาษาที่คอมพิวเตอร์สามารถตรวจสอบได้
-ตัวอย่าง: การปรับปรุงขอบเขต (bound) ที่มีอยู่ให้ดีขึ้น หรือการแก้ข้อคาดการณ์ (conjecture) ที่ยังเป็นปริศนาใน Lean
ความเสี่ยงคือ: ขอบเขตที่เรารู้จักและข้อคาดการณ์ที่ตั้งขึ้นมานั้นถูกจำกัดด้วยมนุษย์ แต่ก็ยังยากมากที่จะทำให้ระบบอิ่มตัว
KARDASHEVIAN.COM
**สิ่งที่เรากำลังทำ:
**Kardashevian คือความพยายามครั้งแรกในการนำไอเดียทั้งสี่ข้อนั้นมาใช้จริง สร้างขึ้นในเวลาว่างของผมด้วยงบก้อนเล็ก ๆ :)
ทุกสนามทดสอบทำงานในรูปแบบเดียวกัน: ข้อมูลนำเข้าจะถูกตรึงไว้ โมเดลจะส่งคำตอบ และจากนั้นสิ่งที่ไม่สามารถมองเห็นหรือแทรกแซงได้จะเป็นผู้ให้คะแนน ไม่มีแบบทดสอบใดที่มี "คำตอบ" เฉพาะเจาะจง
ตามที่คาดไว้ ตลาด value investing คือเควสต์ปลายเปิด มันเป็นเวอร์ชันย่อส่วนของสิ่งที่กล่าวถึงในบทความ: โมเดลจะได้รับข้อมูลการซื้อขายจากชุดข้อมูลหุ้นสหรัฐ ETF และคู่คริปโต 300 รายการ เป้าหมายของพวกมันคือการสร้างพอร์ตโฟลิโอแบบ long-only 15 พอร์ต: แบ่งเป็น 5 กรอบเวลาตั้งแต่ 1 เดือนถึง 2 ปี ในระดับความเสี่ยง 3 ระดับ แต่ละพอร์ตต้องมีการคาดการณ์ผลตอบแทน จากนั้นเราจะติดตามทุกพอร์ตโฟลิโอรายวันเทียบกับ S&P 500 อีกครั้ง ตลาดคือผู้ให้คะแนน จนถึงตอนนี้ยังไม่มีโมเดลไหนขาดทุน (โดยเฉลี่ย) และเกือบครบ 1 เดือน มี 3/5 ที่เอาชนะ S&P 500 ได้ แม้ว่านัยสำคัญทางสถิติของเรื่องนี้ยังจำกัดอยู่ก็ตาม
Sandbox คือการแข่งขันที่เราสร้างขึ้น แต่ละโมเดลจะเขียนตัวควบคุม (controller) สำหรับรถสำรวจในโลกจำลองที่มีกฎฟิสิกส์ซ่อนอยู่ (มอเตอร์ไม่สมดุล, คำสั่งล่าช้า, สัญญาณรบกวนจากเซนเซอร์, ลม, น้ำแข็ง) ดูผลลัพธ์การทำงาน แล้วลองใหม่อีกครั้ง รวมแปดรอบ จากนั้นตัวควบคุมที่ดีที่สุดของมันจะถูกนำไปให้คะแนนในสนามทดสอบสิบด่านที่มันไม่เคยเห็นมาก่อน ไม่มีใครรู้ว่าตัวควบคุมที่สมบูรณ์แบบสำหรับโลกนั้นหน้าตาเป็นอย่างไร แต่เราสามารถบอกได้อย่างแม่นยำว่าของโมเดลไหนดีกว่า และแต่ละตัวเรียนรู้ได้เร็วแค่ไหน
ในทั้งสองสนามทดสอบ โมเดลจะถูกจัดอันดับเทียบกันด้วยสถิติเดียวกับที่ใช้ในหมากรุก: ทุกคู่จะแข่งกันในทุกรายการ และการทำ Bradley–Terry fit บนสเกล Elo จะแปลงผลลัพธ์ให้ออกมาเป็นคะแนนพร้อมช่วงความเชื่อมั่น 95% โดย S&P 500 จะถูกกำหนดให้เป็นผู้เล่นที่มีคะแนนคงที่ที่ 1,500 หากโมเดลใดเอาชนะกองทุนดัชนีไม่ได้ คะแนนที่ได้ก็จะฟ้องให้เห็นเอง
ข้อจำกัดที่ชัดเจนมากสองประการที่เราเผชิญอยู่ในตอนนี้:
- อย่างแรก เราใช้เงินทุนของตัวเอง ดังนั้นเราจึงรันโมเดลราคาประหยัดจากแต่ละแล็บชั้นนำ (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo) ไม่ใช่รุ่นเรือธงของพวกเขา วิธีการคือหัวใจสำคัญ ส่วนรุ่นเรือธงจะมาเมื่อเรามีงบประมาณพอ
- เราต้องการเวลา ดังนั้นตอนนี้จึงมี 358 พอร์ตโฟลิโอและ 6 โลก พร้อมหนังสือเล่มใหม่ทุกวันจันทร์ และพอร์ตโฟลิโอชุดแรกจะครบกำหนดในวันที่ 25 ตุลาคม ช่วงความคลาดเคลื่อนยังกว้างอยู่ที่ประมาณ ±100 จุด
ทุกอย่างเปิดเผยต่อสาธารณะ ทุกตัวเลขมาจากรีลีสที่มีหมายเลขกำกับซึ่งคุณสามารถดาวน์โหลดได้ และหน้า method ก็อธิบายไว้อย่างละเอียดว่ามันถูกคำนวณมาอย่างไร
เรากำลังทำงานอย่างหนักเพื่อเพิ่มจำนวนและความยากของภารกิจเหล่านี้
หากใครสนใจอยากร่วมงานกันในโปรเจกต์นี้ สามารถส่ง DM หรืออีเมลมาหาผมได้ที่ john@on3works.com
