GPT-6 Astra และคำถามเกี่ยวกับ AGI

เหตุใด LLM ที่ขยายขนาด (GPT-6) จึงไม่ใช่ AGI:

ภาพลวงตาแห่งการขยายขนาดและความจริงของปัญญาประดิษฐ์ทั่วไป

เรื่องเล่าหลักในภาคเทคโนโลยีชี้ให้เห็นว่า ปัญญาประดิษฐ์ทั่วไป (AGI) เป็นเพียงความท้าทายทางวิศวกรรมด้านการขยายขนาด: คอมพิวต์ที่มากขึ้น ชุดข้อมูลที่ใหญ่ขึ้น หน้าต่างบริบทที่ยาวขึ้น และคลัสเตอร์การเรียนรู้แบบเสริมกำลังขนาดมหึมา บุคคลสำคัญอย่าง Sam Altman ซีอีโอของ OpenAI และ Jensen Huang ซีอีโอของ NVIDIA ได้กล่าวซ้ำแล้วซ้ำเล่าว่าเส้นทางของโมเดลชั้นนำในปัจจุบัน—จนถึง "GPT-6" สมมุติ—กำลังทำให้มนุษยชาติอยู่บนธรณีประตูของความเป็นอิสระระดับมนุษย์

อย่างไรก็ตาม การมองว่า transformer แบบ autoregressive ที่ขยายขนาดเป็น AGI นั้นเป็นการสับสนระหว่าง การดึงข้อมูลทางสถิติมิติสูง กับ ปัญญาประดิษฐ์ทั่วไปที่แท้จริง การวิจารณ์เชิงสถาปัตยกรรม คณิตศาสตร์ และเศรษฐศาสตร์เผยให้เห็นว่าตัวทำนายโทเค็นถัดไปต้องเผชิญกับข้อจำกัดเชิงโครงสร้างในการขยายขนาด เหตุใดเกณฑ์มาตรฐานที่มีอยู่จึงมีข้อบกพร่อง และสิ่งที่ปัญญาประดิษฐ์ทั่วไปที่แท้จริงต้องการ

1. การนิยาม AGI: เกณฑ์พื้นฐานการดำเนินงาน

เพื่อประเมินว่าทำไม autoregression ที่ขยายขนาดจึงไม่สามารถสร้าง AGI ได้ เราต้องกำหนดเกณฑ์พื้นฐานที่เข้มงวดและไม่ใช่การตลาดก่อน ในบทความพื้นฐานของเขาเรื่อง On the Measure of Intelligence นักวิจัย AI François Chollet ได้กำหนดนิยามของปัญญาประดิษฐ์ไม่ใช่เป็นสารานุกรมของทักษะคงที่ แต่เป็น ความสามารถในการเรียนรู้อย่างมีประสิทธิภาพด้วยตัวอย่าง:

ปัญญาประดิษฐ์ทั่วไป (AGI) คือระบบอัตโนมัติที่สามารถรับ สังเคราะห์ และประยุกต์ใช้ความสามารถใหม่ๆ เพื่อแก้ปัญหาที่ไม่เคยพบมาก่อนภายใต้ความไม่แน่นอน—เทียบเท่าหรือเหนือกว่าประสิทธิภาพของมนุษย์ในการเรียนรู้จากตัวอย่าง การปรับตัวอย่างต่อเนื่อง การใช้เหตุผลเชิงสาเหตุ และการกำหนดเป้าหมายโดยไม่ต้องมีการแทรกแซงด้วยตนเองหรือการฝึกอบรมล่วงหน้าเฉพาะงาน

AGI ไม่ใช่ ผลรวมของความรู้ทั้งหมดของมนุษย์ที่ถูกบีบอัดลงในเมทริกซ์น้ำหนัก มันคือ เครื่องมือการเรียนรู้ระดับสูง ที่สามารถสร้างแบบจำลองโลกใหม่ทั้งหมดเมื่อความรู้ที่มีอยู่ล้มเหลว

2. คอขวดทางสถาปัตยกรรมของ Autoregressive Transformers

แม้ว่าโมเดลชั้นนำในอนาคตจะถูกฝึกด้วย $10^{27}$ FLOPs บนอินพุตหลายรูปแบบ มันก็ยังคงถูกจำกัดด้วยกลไกพื้นฐานของสถาปัตยกรรม transformer:

$$\text{โทเค็นอินพุต} \longrightarrow \text{การคูณเมทริกซ์แบบคงที่ (น้ำหนักที่ถูกแช่แข็ง)} \longrightarrow \text{การกระจายความน่าจะเป็นของโทเค็นถัดไป}$$

A. การขาดการเรียนรู้แบบอัตโนมัติและต่อเนื่อง

คอขวดทางสถาปัตยกรรมของ "GPT-6"

แม้ว่า "GPT-6" ในอนาคตจะถูกฝึกด้วย $10^{27}$ FLOPs พร้อมอินพุตหลายรูปแบบ มันก็ยังคงถูกจำกัดด้วยกลไกพื้นฐานของสถาปัตยกรรม transformer:

1[ โทเค็นอินพุต ] ──> [ การคูณเมทริกซ์แบบคงที่ (น้ำหนักที่ถูกแช่แข็ง) ] ──> [ การกระจายความน่าจะเป็นของโทเค็นถัดไป ]
2│
3└── (ไม่มีความยืดหยุ่นขณะทำงาน / ไม่มีแบบจำลองโลกแบบไดนามิก)

• น้ำหนักคงที่: LLM มาตรฐานมีขั้นตอนการฝึกและอนุมานแยกจากกัน เมื่อ backpropagation สิ้นสุดลง น้ำหนักของโมเดลจะถูกแช่แข็ง เมื่อ LLM โต้ตอบกับโลก มันไม่สามารถปรับเปลี่ยนพารามิเตอร์ภายในของตัวเองแบบเรียลไทม์ได้
• การลืมแบบหายนะ: โครงข่ายประสาทเทียมประสบปัญหา การลืมแบบหายนะ—การอัปเดตน้ำหนักสำหรับงานใหม่ทำให้ความสามารถที่ได้มาก่อนหน้านี้ลดลง
• หน้าต่างบริบท ≠ หน่วยความจำ: การขยายหน้าต่างบริบท (หรือการใช้ RAG) ให้พื้นที่ชั่วคราว ไม่ใช่หน่วยความจำแบบ episodic หรือ semantic ที่ถูกรวบรวม ระบบที่ไม่สามารถตัดความเชื่อที่ผิดและดูดซับสัจพจน์ใหม่ระหว่างการทำงานได้อย่างอิสระคือเครื่องมือค้นหาข้อมูล ไม่ใช่ผู้เรียนแบบไดนามิก

B. ความสัมพันธ์ทางสถิติเทียบกับการใช้เหตุผลเชิงสาเหตุ

• ขอบฟ้าโทเค็นถัดไป: Transformer ปรับให้เหมาะสมสำหรับ $P(\text{โทเค็น}_n \mid \text{โทเค็น}_{1 \dots n-1})$ ตามที่ผู้ชนะรางวัล Turing Award Judea Pearl ระบุไว้ใน The Seven Tools of Causal Inference โมเดลแบบเชื่อมโยงอยู่ในระดับต่ำสุดของ ลำดับชั้นเชิงสาเหตุ (ความสัมพันธ์ / "การมองเห็น")
• คอขวดของการแทรกแซง: ปัญญาประดิษฐ์ทั่วไปที่แท้จริงต้องการการใช้เหตุผลในระดับของ การแทรกแซง ("จะเกิดอะไรขึ้นถ้าเราทำ X?") และ การโต้แย้งเชิงสมมุติ ("จะเกิดอะไรขึ้นถ้าเราทำแตกต่างออกไป?") LLM ประมาณกลไกเหล่านี้ผ่านรูปแบบโทเค็น แต่หากไม่มีกลไกเชิงสาเหตุที่ชัดเจน พวกมันยังคงเปราะบางเมื่อต้องใช้เหตุผลนอกการกระจายการฝึก

3. การวิเคราะห์เชิงวิพากษ์: เรื่องเล่าของผู้นำเทียบกับความเป็นจริงทางสถาปัตยกรรม

คำแถลงสาธารณะเกี่ยวกับเส้นเวลา AGI สมควรได้รับการวิเคราะห์อย่างเป็นกลางควบคู่ไปกับแรงจูงใจเชิงโครงสร้างของบริษัทที่ทำคำแถลงเหล่านั้น

Jensen Huang (NVIDIA): แรงจูงใจในการขยายฮาร์ดแวร์

กรอบความคิด: Huang กล่าวซ้ำแล้วซ้ำเล่าว่า AGI จะมาถึงภายในกรอบเวลาห้าปี โดยเฉพาะอย่างยิ่งนิยามว่าเป็นจุดที่ AI สามารถทำคะแนนในเปอร์เซ็นไทล์สูงสุดในการทดสอบวิชาชีพของมนุษย์ในด้านกฎหมาย การแพทย์ และเทคนิค

มุมมอง: การนิยาม AGI ผ่านผลการสอบมาตรฐานเป็นหลักจะประเมินการดึงความรู้คงที่และการจับคู่รูปแบบ—งานที่โมเดล autoregressive ทำได้ดีเยี่ยมเนื่องจากการจดจำขนาดอินเทอร์เน็ต จากมุมมองทางสถาปัตยกรรม การสอบเนติบัณฑิตหรือคณะกรรมการแพทย์ไม่ได้บ่งชี้ถึงการใช้เหตุผลนอกการกระจายหรือความสามารถในการปรับตัวแบบอัตโนมัติ การกำหนดกรอบความสำเร็จในการสอบเป็น AGI สนับสนุนการใช้จ่ายด้านทุนอย่างต่อเนื่องในคลัสเตอร์ GPU ระดับองค์กร ซึ่งสอดคล้องโดยตรงกับวัตถุประสงค์การขายฮาร์ดแวร์

Sam Altman (OpenAI): แรงจูงใจด้านทุนและการประเมินมูลค่า

กรอบความคิด: Altman อ้างถึงเส้นเวลาที่ก้าวร้าวต่อ AGI บ่อยครั้ง โดยคาดการณ์การเปลี่ยนผ่านอย่างรวดเร็วจากระบบตัวแทนไปสู่ความเป็นอิสระทางปัญญาเต็มรูปแบบเพื่อพิสูจน์การลงทุนโครงสร้างพื้นฐานขนาดใหญ่ เช่น โครงการชิปและศูนย์ข้อมูลมูลค่าหลายล้านล้านดอลลาร์

ปัญหาด้านแรงจูงใจ: วาทกรรมที่ทำให้เข้าใจผิดในอุตสาหกรรม

การทำความเข้าใจคำแถลงสาธารณะของผู้บริหารเทคโนโลยีต้องวิเคราะห์แรงจูงใจเชิงโครงสร้างของพวกเขา:

1┌───────────────────────────────┐        ┌───────────────────────────────┐
2│     Jensen Huang (NVIDIA)     │        │       Sam Altman (OpenAI)     │
3├───────────────────────────────┤        ├───────────────────────────────┤
4│ แรงจูงใจ: ขาย H100s/B200s     │        │ แรงจูงใจ: รอบระดมทุนหลายพันล้าน │
5│ กลยุทธ์: นิยาม AGI ใหม่เป็น   │        │ ดอลลาร์ & Stargate             │
6│ การสอบมาตรฐานภายใน 5 ปี       │        │ กลยุทธ์: สลับไปมาระหว่าง        │
7│                               │        │ "AGI ที่เหมือนพระเจ้าใกล้จะมา" │
8│                               │        │ และ "แค่เครื่องมือที่มีประโยชน์" │
9└───────────────────────────────┘        └───────────────────────────────┘

มุมมอง: จุดเน้นในการดำเนินงานของ OpenAI อาศัยการรักษาทุนสำรองจำนวนมหาศาลเพื่อสนับสนุนการทำงานของคอมพิวต์ การส่งเสริมเรื่องเล่า AGI ที่ใกล้จะเกิดขึ้นช่วยรักษามูลค่าการประเมินสูงของ venture และได้รับการสนับสนุนเชิงกลยุทธ์จากรัฐ อย่างไรก็ตาม การเปลี่ยนนิยาม—สลับไปมาระหว่างการนำเสนอเวอร์ชันใหม่ว่าเป็นความก้าวหน้าทางเทคโนโลยีและการถอยคำกล่าวอ้าง AGI ระหว่างการอภิปรายด้านกฎระเบียบ—เน้นให้เห็นถึงความตึงเครียดระหว่างการสื่อสารทางการตลาดและความสามารถทางเทคนิค เทคนิคอย่างการขยายขนาดคอมพิวต์ขณะอนุมานช่วยปรับปรุงการค้นหาในพื้นที่ปัญหาที่มีโครงสร้าง แต่ไม่ได้แก้ไขการแช่แข็งน้ำหนัก การปรับตัวแบบเรียลไทม์ หรือความเป็นอิสระทางญาณวิทยาที่แท้จริง

4. ความเข้าใจผิดของเกณฑ์มาตรฐาน: เหตุใดเมตริกปัจจุบันจึงทำให้เข้าใจผิด

การรับรู้ว่าโมเดลชั้นนำกำลังเข้าใกล้ AGI ส่วนใหญ่มาจากความอิ่มตัวของเกณฑ์มาตรฐาน วิธีการประเมินปัจจุบันประสบปัญหาข้อบกพร่องเชิงโครงสร้างสามประการ:

• การปนเปื้อนข้อมูลและความอิ่มตัวของเกณฑ์มาตรฐาน: ชุดการประเมินยอดนิยมอย่าง MMLU และ GSM8K รั่วไหลเข้าสู่ชุดข้อมูลการฝึกอบรมล่วงหน้าขนาดเว็บเป็นประจำ คะแนนสูงมักสะท้อนถึงการจดจำรูปแบบมิติสูงมากกว่าการใช้เหตุผลนอกการกระจาย
• กฎของ Goodhart ในการปรับแต่ง AI: ตามที่งานวิจัยเกี่ยวกับการประเมินโมเดล AI ชั้นนำแสดงให้เห็น "เมื่อเมตริกกลายเป็นเป้าหมาย มันก็จะเลิกเป็นเมตริกที่ดี" เทคนิคหลังการฝึก (RLHF, DPO, การสร้างข้อมูลสังเคราะห์) ปรับแต่งโมเดลอย่างรุนแรงเพื่อให้ผ่านการประเมินมาตรฐานสาธารณะ
• ARC-AGI: การประเมินโมเดลด้วยปริศนาตรรกะเชิงนามธรรมทางภาพแบบใหม่ที่ออกแบบมาเพื่อต้านทานการจดจำโดยเฉพาะ—เช่น เกณฑ์มาตรฐาน ARC-AGI—เผยให้เห็นว่าแม้การค้นหาที่ขยายขนาดและคอมพิวต์ขณะทดสอบสามารถผลักดันคะแนนให้สูงขึ้นได้ การค้นหาทางสถิติแบบ brute-force ต้องการคอมพิวต์มากกว่าประสิทธิภาพการใช้ตัวอย่างของมนุษย์หลายเท่าเพื่อแก้ปัญหานามธรรมเดียวกัน

5. ข้อกำหนดทางสถาปัตยกรรมสำหรับ AGI ที่แท้จริง

การเชื่อมช่องว่างระหว่างการจับคู่รูปแบบทางสถิติและ AGI ที่แท้จริงต้องการการเปลี่ยนแปลงทางสถาปัตยกรรมพื้นฐานที่ห่างจาก autoregression บริสุทธิ์:

บทสรุป

สิ่งที่ AGI ที่แท้จริงต้องการจริงๆ

การเชื่อมช่องว่างระหว่างการจับคู่รูปแบบทางสถิติมิติสูงและ AGI ที่แท้จริงต้องการการเปลี่ยนแปลงทางสถาปัตยกรรมพื้นฐาน:

การขยายขนาดคอมพิวต์ จำนวนพารามิเตอร์ และข้อมูลการฝึกอบรมล่วงหน้าให้เครื่องมือที่ยอดเยี่ยม ผู้ช่วยเขียนโค้ดที่มีความสามารถสูง และอินเทอร์เฟซภาษาธรรมชาติที่คล่องแคล่ว อย่างไรก็ตาม การขยายขนาดการทำนายทางสถิติไม่ได้สร้างการใช้เหตุผลแบบอัตโนมัติ การเรียนรู้แบบไดนามิก หรือความเป็นอิสระที่แท้จริงขึ้นมาเอง

GPT-6 ในอนาคตอาจเร็วกว่า ใหญ่กว่า และสื่อสารได้คล่องแคล่วกว่าในข้อความมนุษย์ แต่หากไม่มีความยืดหยุ่นต่อเนื่อง การวางรากฐานเชิงสาเหตุ และการตรวจสอบตนเองแบบไดนามิก มันก็ยังคงเป็นเครื่องมือสร้างความสัมพันธ์ขั้นสูง—ไม่ใช่ AGI

สรุปโดย Seedthink