สวัสดีครับ/ค่ะ เหล่าผู้ที่ชื่นชอบ AI!
OpenAI ทำให้มันเป็นทางการในสัปดาห์นี้: ยินดีต้อนรับสู่ยุคของ AGI
GPT-6 Astra เปิดตัวแล้ว และ OpenAI กำลังขายมันในฐานะการก้าวกระโดดครั้งสำคัญ — ความก้าวหน้าครั้งใหญ่ในการใช้งานคอมพิวเตอร์ การเขียนโค้ด การวิจัย และงานที่ยาวและยุ่งเหยิงซึ่งแต่ก่อนต้องมีมนุษย์คอยดูแลตลอดทาง
ผมจะมองตามที่เขาประชาสัมพันธ์สักครู่ เพราะมันทำให้เกิดคำถามที่วงการนี้แอบหลบเลี่ยงมาสักพัก: เราจะวัดสิ่งนี้ได้อย่างไรจริงๆ?
หลายปีที่ผ่านมา AI ทำงานบนพื้นฐานของเกณฑ์มาตรฐาน (benchmarks) ทุกครั้งที่เปิดตัวผลิตภัณฑ์ใหม่ จะมีตารางพิสูจน์ว่าโมเดลใหม่ดีขึ้น 3% ตรงนี้ ดีขึ้น 7% ตรงนั้น และฉลาดขึ้นอย่างลึกลับ 12% ตามเกณฑ์มาตรฐานที่ไม่มีอยู่จริงเมื่อฤดูใบไม้ผลิที่แล้ว เราให้คะแนนพวกมัน ใส่สีสัน จัดอันดับบนลีดเดอร์บอร์ด และประกาศผู้ชนะ มันใช้ได้ดีพอสมควรตอนที่โมเดลต่างๆ แค่ตอบคำถาม แต่มันใช้ไม่ได้ผลอีกต่อไปทันทีที่โมเดลเริ่มลงมือทำสิ่งต่างๆ
นี่คือประเด็นหลัก: เกณฑ์มาตรฐานก็แค่คลังข้อสอบ คุณส่งปัญหาให้โมเดล มันสร้างคำตอบ คุณตรวจคำตอบกับเฉลย แม้แต่เกณฑ์มาตรฐานการใช้งานคอมพิวเตอร์ที่ดูซับซ้อน ก็เป็นเพียงกองงานที่เขียนไว้ล่วงหน้าซึ่งทำงานภายในสภาพแวดล้อมที่สร้างไว้ล่วงหน้าเช่นกัน สิ่งนั้นมีประโยชน์จริงๆ แต่มันก็ไม่เหมือนกับสิ่งที่เกิดขึ้นเมื่อคุณปล่อยเอเจนต์ลงบนเครื่องจริงแล้วบอกให้มันทำงานให้สำเร็จ
ชีวิตจริงไม่ได้มาพร้อมกับไฟล์เกณฑ์มาตรฐาน ไม่มีอะไรบนเดสก์ท็อปของคุณบอกคุณได้อย่างชัดเจนว่า "เสร็จ" คืออะไร
คอมพิวเตอร์จริงคือ เบราว์เซอร์ที่ค้างระหว่างทำงาน เว็บไซต์ที่เปลี่ยนดีไซน์เงียบๆ เมื่อวานนี้ สเปรดชีตที่มีสามเวอร์ชันที่ขัดแย้งกัน การอนุญาตที่ไม่มีใครพูดถึง ไฟล์ PDF ที่ถูกฝังลึกในโฟลเดอร์ API ที่หมดเวลาสำหรับคำขอที่แย่ที่สุด และมนุษย์ที่พูดว่า "จัดการเรื่องนี้ให้หน่อยได้ไหม" แล้วก็เดินจากไปโดยไม่นิยามว่า "เรื่องนี้" คืออะไร
เอเจนต์ต้องหาคำตอบให้ได้ และส่วนที่ไม่มีเกณฑ์มาตรฐานไหนวัดได้ดี: มันต้องฟื้นตัวเมื่อความพยายามครั้งแรกล้มเหลว นั่นเป็นทักษะที่แตกต่างอย่างสิ้นเชิงจากการได้คำตอบที่ถูกต้อง
ซึ่งเป็นเหตุผลว่ารายงานที่ว่า OpenAI ซื้อ Mac สำหรับผู้บริโภคหลายหมื่นเครื่องเพื่อใช้ในการเรียนรู้แบบเสริมกำลัง (reinforcement learning) และฝึกการใช้งานคอมพิวเตอร์นั้น บอกอะไรได้มากกว่าที่เห็น ตัวเลขที่แน่นอนได้รับการรายงาน แต่ยังไม่ได้รับการตรวจสอบ — แต่ทิศทางนั้นชัดเจน ห้องปฏิบัติการชั้นนำต้องการให้โมเดลของพวกเขาอยู่บนเครื่องจริง ไม่ใช่ติดอยู่ในกล่องแชท และนั่นก็ทำลายเกมการวัดผลด้วยเกณฑ์มาตรฐานทั้งเกมอย่างเงียบๆ
ลองนึกภาพเอเจนต์สองตัว คอมพิวเตอร์เครื่องเดียวกัน ภารกิจคร่าวๆ เดียวกัน:
วิจัยตลาดนี้ เลือกสามบริษัทที่มีแนวโน้มดี สร้างการเปรียบเทียบทางการเงิน และเตรียมพรีเซนเทชั่นสำหรับคณะกรรมการลงทุน
ไม่มีวิธีที่ถูกต้องเพียงวิธีเดียวในการทำสิ่งนั้น มีเป็นร้อยวิธี เอเจนต์หนึ่งใช้เวลาค้นหาสองชั่วโมง อีกตัวเขียนสคริปต์ ตัวที่สามสะดุดเข้ากับแหล่งข้อมูลที่ดีกว่าในระหว่างทางแล้วทิ้งแผนเดิมทิ้งไป ตัวที่สี่ทำผิดพลาด จับได้ และแก้ไขมัน ตัวที่ห้าส่งพรีเซนเทชั่นที่สวยงามให้คุณ แต่สร้างจากตัวเลขที่ผิดพลาดโดยสิ้นเชิง
แล้วตัวไหนชนะ? ผู้เขียนเกณฑ์มาตรฐานไม่สามารถเขียนคำตอบล่วงหน้าได้ เพราะมันไม่มีคำตอบเดียว
และนี่คือจุดที่เริ่มอึดอัดจริงๆ ส่วนที่ยากที่สุดของการให้คะแนนเอเจนต์อาจไม่ใช่ คำตอบถูกต้องหรือไม่ อีกต่อไป มันคือ สิ่งนี้มีประโยชน์จริงๆ หรือไม่ ฟังดูเหมือนการจับผิด แต่ไม่ใช่
ลองเอาเอเจนต์ที่ทำคะแนนได้ 95% ในเกณฑ์มาตรฐานการใช้งานคอมพิวเตอร์ แล้วปล่อยมันลงในบริษัทจริงเป็นเวลาหนึ่งสัปดาห์ มันสร้างโครงสร้างโฟลเดอร์ผิด เขียนทับสเปรดชีตที่ใช้งานจริง เสียเวลาหกชั่วโมงไล่ตามข้อมูลที่ตายแล้ว อ้างสถิติจากปี 2023 อย่างมั่นใจ และติดอยู่กับกำแพงการอนุญาตที่มันไม่เคยคิดจะถามถึง ทุกงานในเกณฑ์มาตรฐาน: สมบูรณ์แบบ แต่ไม่มีใครอยากจ้างมันต่อในสัปดาห์ที่สอง
ทีนี้ลองเอาเอเจนต์ที่ทำคะแนนได้แค่ 85% — แต่รู้ว่ามันสับสนเมื่อไหร่ ถามคำถามเดียวที่ปลดล็อคสถานการณ์ เปลี่ยนแนวทางเมื่อมีอะไรพัง และส่งงานที่คุณใช้ได้จริงอย่างเงียบๆ ตัวไหนฉลาดกว่ากัน? ลีดเดอร์บอร์ดไม่รู้เลย จริงๆ แล้วเราก็ไม่รู้เหมือนกัน
นี่คือเหตุผลที่ผมคิดว่าเกณฑ์มาตรฐานอิสระกำลังชนกำแพง ไม่ใช่นักวิจัยขี้เกียจ — พวกเขากำลังสร้างการทดสอบที่ยากขึ้นและสมจริงกว่าที่เคย ปัญหาคือความจริงกลับใหญ่กว่าการทดสอบเสมอ คุณสามารถทำให้เกณฑ์มาตรฐานยาวขึ้น เพิ่มเครื่องมือมากขึ้น เว็บไซต์มากขึ้น แอปมากขึ้น ขั้นตอนมากขึ้น ความสุ่มมากขึ้น มันไม่สำคัญ คุณยังคงสร้างเกมที่มีกฎอยู่ และทันทีที่โมเดลเรียนรู้ที่จะเล่นเกม คุณก็กลับไปที่จุดเริ่มต้น
ดังนั้นเราจะได้คะแนน 91.4% 94.7% 97.2% 98.1% ผู้คนจะเถียงกันว่าโมเดล A ดีกว่าโมเดล B หรือไม่ บางคนจะเปิดตัวลีดเดอร์บอร์ดอีกอัน บางคนจะเปิดตัวลีดเดอร์บอร์ดของลีดเดอร์บอร์ด และตลอดเวลานั้น โมเดลจะนั่งอยู่บนเครื่องจริงและทำสิ่งต่างๆ ที่ตัวเลขเหล่านั้นไม่สามารถอธิบายได้
นั่นคือความขัดแย้งของเกณฑ์มาตรฐาน: ยิ่ง AI เข้าใกล้ความฉลาดระดับทั่วไป (general-purpose intelligence) มากเท่าไหร่ คลังคำถามที่เขียนไว้ล่วงหน้าก็บอกคุณเกี่ยวกับมันได้น้อยลงเท่านั้น
แล้วอะไรจะมาแทนที่มัน? ผมไม่คิดว่าคำตอบคือ "เกณฑ์มาตรฐานที่ดีกว่า" ผมคิดว่ามันเป็นสิ่งที่แตกต่างกันในเชิงชนิด หยุดส่งคำถามให้เอเจนต์ แล้วส่งเป้าหมายให้มันแทน หยุดให้กล่องทรายที่เรียบร้อย แล้วให้กล่องทรายที่ยุ่งเหยิงแทน หยุดให้คะแนนว่ามันทำตามขั้นตอนที่คาดหวังหรือไม่ แล้วให้คะแนนว่ามันได้ผลลัพธ์หรือไม่ หยุดรันการทดสอบสาธารณะแบบเดิมซ้ำแล้วซ้ำเล่า แล้วโยนมันเข้าไปในสภาพแวดล้อมที่เปลี่ยนแปลงตลอดเวลา พร้อมงานส่วนตัวที่มันไม่เคยเห็นมาก่อน
และหยุดถามแค่ว่ามันสำเร็จหรือไม่ ให้ถามว่ามันสำเร็จได้อย่างน่าเชื่อถือแค่ไหน ต้นทุนเท่าไหร่ ใช้เวลานานแค่ไหน ต้องพึ่งพามนุษย์บ่อยแค่ไหน มันทำงานได้อย่างปลอดภัยแค่ไหน และงานนั้นรอดพ้นจากการสัมผัสกับความเป็นจริงหรือไม่
พูดง่ายๆ: การประเมิน AI รุ่นต่อไปควรมีลักษณะเหมือนการสอบน้อยลง และเหมือน การฝึกงาน มากขึ้น
อย่าถามโมเดลว่า:
มันสอบผ่านหรือไม่?
ให้แล็ปท็อป บัญชี งบประมาณ เป้าหมาย และเวลาหนึ่งสัปดาห์แก่มัน แล้วดูว่ามันทำอะไร นั่นจะบอกคุณเกี่ยวกับความฉลาดของมันได้มากกว่า — และมันจะเป็นฝันร้ายที่จะทำให้เป็นมาตรฐาน ซึ่งนั่นคือประเด็นพอดี
ความฉลาดในโลกแห่งความจริงนั้นยุ่งเหยิง ขึ้นอยู่กับบริบท ปรับตัวได้ และไม่มีที่สิ้นสุด ทันทีที่คุณทำให้มันแบนราบเป็นรายการคำถามที่สะอาดตาพร้อมคำตอบตายตัว คุณก็หยุดวัดความฉลาด คุณกำลังวัด การทำข้อสอบ
และนั่นคือเหตุผลที่ Astra ให้ความรู้สึกแตกต่างสำหรับผม OpenAI กำลังบอกเราอย่างเปิดเผยว่าเราได้ก้าวเข้าสู่ยุคของ AGI แล้ว ก็ได้ แต่ถ้านั่นเป็นจริง เราควรหยุดยื่นข้อสอบมาตรฐานที่เราออกแบบมาสำหรับแชทบอทให้กับ AGI
คำถามที่น่าสนใจไม่ใช่ "มันได้คะแนนเท่าไหร่?" อีกต่อไป มันคือ "จะเกิดอะไรขึ้นเมื่อคุณให้คอมพิวเตอร์กับมันแล้วบอกให้มันทำงานให้สำเร็จ?" และผมสงสัยว่าเรากำลังจะพบว่าเรายังไม่มีคำตอบที่ดี
ดังนั้น — ยินดีต้อนรับสู่ยุคของ AGI และในเวลาเดียวกันอย่างเงียบๆ: ยินดีต้อนรับสู่ยุคของ AI ที่ไม่สามารถให้คะแนนได้ เกณฑ์มาตรฐานไม่ได้แย่ลง สิ่งที่เราพยายามวัดมันเพิ่งจะก้าวออกไปจากมัน
