การทดสอบครั้งแรกไม่พบผู้ชนะ การทดสอบครั้งที่สองพบว่าโมเดลที่ตรวจสอบงานของตัวเองเป็นโมเดลที่ลงจอดได้ สำหรับการทดสอบครั้งที่สาม ฉันเลือกปัญหาที่คำตอบที่ผิดไม่สามารถซ่อนได้ — ความโกลาหลแบบกำหนดได้ (deterministic chaos) โดยมีผู้ตัดสินอยู่ในไฟล์ — และเฝ้าดูว่าโมเดลต่างๆ ทำอย่างไรเมื่อความถูกต้องไม่ใช่สิ่งที่แยกพวกเขาอีกต่อไป
เรื่องราวจนถึงตอนนี้
การทดสอบ 01 คือ Fourier visualizer ในไฟล์ HTML ไฟล์เดียว พร้อมการแสดงผลข้อผิดพลาดแบบเรียลไทม์เป็นผู้ตัดสินในตัว โมเดลสี่ตัว พร้อมท์เดียวกัน รอบแรกเท่านั้น ทั้งสี่ตัวส่งคณิตศาสตร์ที่ถูกต้องโดยมีค่าคลาดเคลื่อนในการปัดเศษใกล้เคียงกัน สิ่งเดียวที่แตกต่างคือค่าใช้จ่าย โดยประมาณ 200 เท่า ข้อสรุปที่แคบและซื่อสัตย์: สำหรับงานที่ระบุชัดเจนและมีคำตอบที่ตรวจสอบได้ การเลือกโมเดลไม่ใช่ตัวแปรที่สำคัญอีกต่อไป
การทดสอบ 02 คือ Lunar Lander ที่เล่นได้ พร้อมผู้ตัดสินสองคน — ฟิสิกส์การตกอย่างอิสระที่แม่นยำ และระบบนำทางอัตโนมัติแบบปลายเปิดที่ต้องบินเกมของโมเดลเอง ฟิสิกส์เสมอกันอีกครั้ง ระบบนำทางอัตโนมัติไม่เสมอ: 20/20, 18/20, 5/20, 0/20 และสิ่งที่ทำนายความแตกต่างไม่ใช่ชื่อหรือราคาของโมเดล — แต่เป็นว่าโมเดล ทดสอบงานของตัวเอง ก่อนที่จะบอกว่าเสร็จหรือไม่
ดังนั้นสำหรับการทดสอบ 03 ฉันต้องการงานที่ สามารถตรวจสอบได้อย่างสมบูรณ์ — ไม่มีส่วนปลายเปิดครึ่งๆ กลางๆ ในครั้งนี้ — แต่คำตอบที่ตรวจสอบได้นั้นยากที่จะปลอมแปลงอย่างแท้จริง ถ้าทฤษฎี "โมเดลไม่สำคัญ" เป็นจริง นี่คือจุดที่มันควรจะแข็งแกร่งที่สุด และฉันต้องการดูว่ายังมีอะไรที่แยกโมเดลสี่ตัวออกจากกันได้อีก เมื่อแม้แต่ความถูกต้องก็มาบรรจบกัน
คำตอบกลายเป็น: ความโกลาหล
รอยเส้นของลูกตุ้มคู่แบบเปิดรับแสงนาน
การทดสอบ: ผู้ตัดสินที่คุณไม่สามารถโต้แย้งได้
กฎเดียวกันเสมอ หนึ่งพร้อมท์ วางลงใน CLI สี่ตัวพร้อมกัน สี่โฟลเดอร์ รอบแรกเท่านั้น บันทึกเทอร์มินัล
พร้อมท์: ลูกตุ้มคู่ ในไฟล์ HTML ไฟล์เดียว ค่าคงที่ (ลูกตุ้ม 1 กก. สองอัน, แท่ง 1 ม. สองอัน, g = 9.81), ตำแหน่งเริ่มต้นคงที่ (แขนทั้งสองที่ 120°, ปล่อยจากหยุดนิ่ง), สมการการเคลื่อนที่แบบไม่เชิงเส้นเต็มรูปแบบ, RK4 ที่ขั้นเวลาคงที่ 1/2000 วินาที วาดมัน, ติดตามลูกตุ้มล่าง และ — จุดสำคัญของทั้งหมด — ให้คะแนนฟิสิกส์ของตัวเองแบบเรียลไทม์บนหน้าจอ สองวิธี:
- การลอยของพลังงาน (Energy drift) ลูกตุ้มคู่ที่ไม่มีแรงเสียดทานจะคงพลังงานกลทั้งหมดไว้ อย่างแม่นยำ ดังนั้นแอปจะคำนวณพลังงานของตัวเองทุกเฟรมและรายงานว่ามันเบี่ยงเบนไปจากค่าเริ่มต้นเท่าใด การเบี่ยงเบนใดๆ ล้วนเป็นข้อผิดพลาดของตัวอินทิเกรต มีคำตอบเชิงวิเคราะห์ที่ถูกต้อง และมันคือ ศูนย์ นี่คือผู้ตัดสินที่ไม่สามารถโต้แย้งได้
- เลขชี้กำลัง Lyapunov แอปจะรันลูกตุ้ม คู่แฝด ที่ซ่อนอยู่ ซึ่งเหมือนกันทุกประการ ยกเว้นว่ามุมแรกถูกสะกิดเล็กน้อยหนึ่งส่วนในหนึ่งพันล้าน (10⁻⁹) มันวัดว่าทั้งสองแยกออกจากกันเร็วแค่ไหน ฟิตเส้นโค้งเอ็กซ์โพเนนเชียล และรายงานอัตราการเติบโต λ ค่า λ ที่เป็นบวกคือลายเซ็นทางคณิตศาสตร์ของความโกลาหลแบบกำหนดได้ — หลักฐานว่าการเคลื่อนที่ที่ดูวุ่นวายบนหน้าจอคือความไวต่อสภาวะเริ่มต้นที่แท้จริง ไม่ใช่ข้อผิดพลาดทางตัวเลข
ปุ่มเดียวจะรันการตรวจสอบทั้งสองแบบโดยไม่ต้องมีส่วนติดต่อผู้ใช้ (headless) เป็นเวลา 60 วินาทีจำลอง และพิมพ์คำตัดสิน
ทำไมต้องใช้ลูกตุ้มคู่? เพราะมันเป็นตัวอย่างที่สะอาดที่สุดของระบบที่
กำหนดได้อย่างสมบูรณ์และคาดเดาไม่ได้อย่างสมบูรณ์ในเวลาเดียวกัน
. สมการไม่มีองค์ประกอบสุ่ม รันสองครั้งจากจุดเริ่มต้นเดียวกัน คุณจะได้การเคลื่อนที่เหมือนกันทุกครั้ง สะกิดจุดเริ่มต้นเพียงหนึ่งในพันล้านของเรเดียน ภายในสิบห้าวินาที ทั้งสองจะทำสิ่งที่แตกต่างกันโดยสิ้นเชิง มันคือการทดสอบความเครียดที่สมบูรณ์แบบสำหรับทฤษฎี: ฟิสิกส์สามารถตรวจสอบได้อย่างแม่นยำ แต่พฤติกรรมไม่สามารถเดาได้ด้วยตาเปล่า
ลูกตุ้มคู่
เพื่อให้คะแนนผู้ให้คะแนน ฉันสร้างของตัวเองขึ้นมา
มีข้อผิดพลาดในการทดสอบที่ให้คะแนนตัวเอง: จะเกิดอะไรขึ้นถ้าแอปทั้งสี่เห็นพ้องต้องกันในตัวเลขที่ผิด? ข้อบกพร่องร่วมกันอาจดูเหมือนฉันทามติ
ดังนั้นก่อนการแข่งขัน ฉันเขียนการจำลองลูกตุ้มคู่ของตัวเองตั้งแต่เริ่มต้น — ค่าคงที่เดียวกัน, RK4 เดียวกัน, 60 วินาทีเดียวกัน — เป็นกระดาษคำตอบอิสระ มันบอกว่า: พลังงานเริ่มต้น 14.715 J, การเบี่ยงเบนสูงสุดในช่วง 60 วินาที 6.6×10⁻⁸ % (นั่นคือห่างจากความสมบูรณ์แบบเพียงเศษเสี้ยวของการปัดเศษ), เลขชี้กำลัง Lyapunov สูงสุด ≈1.4 ต่อวินาที และวิถีคู่แฝดแยกออกจากกันหนึ่งเรเดียนเต็มที่ ≈14.5 วินาที
นั่นคือความจริงพื้นฐานที่แอปทุกตัวด้านล่างถูกวัดเทียบ ไม่ใช่ "โมเดลเห็นด้วยกัน" — แต่ "โมเดลเห็นด้วยกับการจำลองอิสระที่ฉันควบคุม"
การแข่งขัน
เทอร์มินัลสี่ตัว, เครื่องมือสี่ชนิดที่แตกต่างกัน: Sonnet 5 ใน Claude Code, Grok 4.5 และ Composer 2.5 ผ่าน Grok CLI, DeepSeek V4 Pro ใน opencode
สองตัวปฏิบัติเหมือนเป็นการวิ่งระยะสั้น Composer 2.5 เสร็จก่อน ใน 1 นาที 43 วินาที — เขียนไฟล์, พิมพ์ตาราง "ผลลัพธ์แบบ headless ที่ยืนยันแล้ว" เรียบร้อย Grok 4.5 ตามมาใน ด้วยการเขียนที่ละเอียดที่สุดในสี่ตัว: สมการพลังงานที่ชัดเจนที่สุดในตำราเรียน และ สอง เมตริกการแยกตัว ในขณะที่ตัวอื่นรายงานแค่อันเดียว
อีกสองตัวปฏิบัติเหมือนเป็นข้อสอบที่ต้องส่ง Sonnet 5 เขียนไฟล์ที่กะทัดรัดที่สุดในกลุ่ม จากนั้นเปิดเบราว์เซอร์จริง — สิบห้าครั้ง — เพื่อรันผู้ตัดสินของตัวเองจริงๆ ระหว่างทางมันสังเกตว่าแท็บอัตโนมัติถูก Chrome ทำให้ช้าลงในเบื้องหลัง คิดออกมาดังๆ ว่าการตรวจสอบแบบ headless ไม่ได้ขึ้นอยู่กับแอนิเมชัน รันมันต่อไป แล้วจึงเรียกมันว่าเสร็จ ที่ DeepSeek V4 Pro ทำสิ่งเดียวกันผ่านเครื่องมือที่แตกต่าง — ขับ Chrome แบบ headless, คลิกปุ่ม Run Referee ของตัวเอง, ถ่ายภาพหน้าจอของแผงเพื่อยืนยัน — และเสร็จที่ โดยใช้เงินไปเพียงแปดเซ็นต์
เทอร์มินัลสี่ตัว, ตัวแทน AI สี่ตัว
นี่คือสิ่งบอกเล่า และมันพลิกกลับ การทดสอบ 02 Composer และ Grok รายงานตัวเลขผู้ตัดสินที่ถูกต้อง โดยไม่เคยเปิดไฟล์ เท่าที่การบันทึกแสดง พวกเขาอ้างผลลัพธ์ที่ "ถูกต้อง" จากเหตุผลเพียงอย่างเดียว Sonnet และ DeepSeek รายงานตัวเลขที่ถูกต้องเพราะพวกเขา รันมันและอ่านแผง
บางทีคราวหน้าฉันอาจต้องบังคับใช้ playwright หรือ chrome e2e
ผลลัพธ์ จากผู้ตัดสินของแต่ละแอป
ผู้ตัดสิน #1 — การลอยของพลังงาน, ส่วนที่แน่นอน ความจริงพื้นฐาน: 6.6×10⁻⁸ %
โมเดล
การลอยของพลังงานสูงสุด (รายงานด้วยตนเอง)
คำตัดสิน
Sonnet 5
6.57×10⁻⁸ %
PASS
Grok 4.5
≈6.6×10⁻⁸ %
PASS
Composer 2.5
6.6×10⁻⁸ %
PASS
DeepSeek V4 Pro
4.94×10⁻⁸ % *
PASS
บรรจบกัน เป็นครั้งที่สาม ทั้งสี่ตัวลงบนคำตอบทศนิยมแปดตำแหน่งเดียวกันกับการจำลองอิสระของฉัน ไม่มีใครปลอมตัวอินทิเกรต — คุณ ไม่สามารถ ปลอมมันได้ นั่นคือการออกแบบทั้งหมด และครั้งนี้ไม่มีใครแม้แต่จะพยายาม (* DeepSeek อ่านค่าต่ำกว่าเล็กน้อยเพียงเพราะการตรวจสอบแบบ headless ของมันสุ่มตัวอย่างพลังงานทุกขั้นที่ 100 แทนที่จะเป็นทุกขั้น — ตัวตรวจสอบที่มีความแม่นยำน้อยที่สุดในสี่ตัว แม้ว่าจะยังผ่านอย่างสบายๆ)
ผู้ตัดสิน #2 — เลขชี้กำลัง Lyapunov, ส่วนของความโกลาหล ความจริงพื้นฐาน: ≈1.4 ต่อวินาที, เป็นบวก
โมเดล
λ ที่ฟิตแล้ว
การแยกตัว 1 เรเดียน
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
ทั้งหมดเป็นบวก ทั้งหมดอยู่ในช่วงที่แต่ละโมเดลเลือกที่จะฟิต ความโกลาหลเป็นจริง วัดได้สี่วิธีอิสระ และมันสอดคล้องกับกระดาษคำตอบ
การลอยของพลังงาน
แล้วอะไรที่แยกพวกเขาจริงๆ?
อ่านสองตารางแล้วคำตอบที่ซื่อสัตย์คือ: ในสิ่งที่การทดสอบวัด ไม่มีอะไรแยกพวกเขา ทั้งสี่ตัวถูกต้อง นี่คือจุดที่ทฤษฎี "โมเดลไม่สำคัญ" ดูแข็งแกร่งที่สุดในสามการทดสอบ — งานสามารถตรวจสอบได้อย่างสมบูรณ์ ยากจริงๆ และทุกโมเดลทำได้สมบูรณ์แบบ
แต่ การทดสอบ 02 สอนให้ฉันดูคอลัมน์ที่ ไม่ใช่ คะแนน ครั้งที่แล้วมันคือระบบนำทางอัตโนมัติ ครั้งนี้มันคือนาฬิกา และเบราว์เซอร์
- โมเดลที่เร็วสองตัว (Composer 1:43, Grok 3:58) ส่งไฟล์ที่ถูกต้อง โดยที่พวกเขาไม่เคยรัน
- โมเดลที่ช้าสองตัว (Sonnet 9:07, DeepSeek 9:15) ส่งไฟล์ที่ถูกต้อง เพราะพวกเขารันพวกมัน
นี่คือการพลิกผันจาก การทดสอบ 02 ครั้งที่แล้ว โมเดลที่ไม่ตรวจสอบ ล้มเหลว — ระบบนำทางอัตโนมัติของ Grok ตก 15 จากการลงจอด 20 ครั้ง ครั้งนี้ โมเดลที่ไม่ตรวจสอบ ผ่านไปได้ Composer และ Grok ถูกต้องโดยไม่ต้องตรวจสอบ
ซึ่งทำให้บทเรียนคมชัดขึ้นแทนที่จะซ้ำ: การตรวจสอบไม่ใช่สิ่งที่ทำให้ผลลัพธ์ถูกต้อง มันคือสิ่งที่ทำให้คุณรู้ว่ามันถูกต้องก่อนที่จะส่ง สำหรับงานที่ตรวจสอบได้อย่างสมบูรณ์ โมเดลที่ดีพอสามารถข้ามการตรวจสอบและยังคงถูกต้องได้ เพียงแต่มันไม่สามารถ รู้ ว่ามันถูกต้อง Composer และ Grok ถึงจุดนั้นในหนึ่งในสี่ของเวลา — และส่งแบบไม่เห็นอะไร Sonnet และ DeepSeek จ่ายเงินห้านาทีและแปดเซ็นต์ถึงสองดอลลาร์สำหรับสิ่งที่นักวิ่งระยะสั้นไม่ได้ซื้อ: ความแน่นอน
ว่าการแลกเปลี่ยนนั้นคุ้มค่าหรือไม่ ขึ้นอยู่กับต้นทุนของการผิดพลาดทั้งหมด สำหรับการสร้างภาพที่ใช้แล้วทิ้ง ให้ส่งแบบไม่เห็นและประหยัดนาที สำหรับสิ่งใดก็ตามที่ข้อบกพร่องของตัวอินทิเกรตที่เงียบถึงขั้นตอนการผลิต โมเดลที่เปิดเบราว์เซอร์คือโมเดลที่คุณต้องการ — และ DeepSeek พิสูจน์ว่านิสัยนั้นมีค่าใช้จ่ายสี่เซ็นต์ ไม่ใช่สองดอลลาร์
โหมดบอด: จุดที่การทดสอบนี้มีคม
มีเหตุผลที่ฉันเลือกความโกลาหล วางลูกตุ้มสี่ตัวเคียงข้างกันแล้วปล่อยให้มันทำงาน ภายในสิบห้าวินาที ทุกรอยเส้นคือเส้นขีดเขียนที่ไม่สามารถคาดเดาได้แตกต่างกัน — และคุณไม่สามารถบอกได้ว่าโมเดลไหนเขียนอันไหน สไตล์ประจำบ้าน, ชื่อตัวแปร, ส่วนเสริม UI เล็กๆ น้อยๆ ล้วนหายไปทันทีที่ฟิสิกส์ครอบงำ การใช้งานที่ถูกต้องสี่แบบของระบบที่โกลาหลนั้น สำหรับสายตา ไม่สามารถแยกแยะได้
นั่นไม่ใช่ข้อบกพร่องในการทดสอบ นั่น คือ การค้นพบ ที่แสดงเป็นภาพ: เมื่องานถูกระบุอย่างสมบูรณ์และแก้ไขอย่างถูกต้อง ลายนิ้วมือของโมเดลจะหายไป ลองโหมดบอดและดูว่าคุณสามารถเอาชนะการโยนเหรียญได้หรือไม่ ฉันทำไม่ได้
รอยเส้นลูกตุ้มคู่สี่รอย
สิ่งที่ค่าใช้จ่ายซื้อ
- DeepSeek V4 Pro: $0.0432 แยกรายการตามโทเค็น มันยังเป็นหนึ่งในสองตัวที่ขับเบราว์เซอร์จริงเพื่อให้คะแนนตัวเอง ถูกที่สุด และ ขยันที่สุด — ตัวเลือกที่คุ้มค่า อีกครั้ง โดยสองลำดับความสำคัญ
- Sonnet 5: ~$2.02 คิดตามโทเค็น (มันรันบนแผน ดังนั้นนี่คือจำนวนโทเค็นของฉัน × ราคาที่เผยแพร่) ส่วนใหญ่ไปที่ลูปการตรวจสอบสิบห้าครั้งที่สร้างการรับรองที่ระมัดระวังที่สุดในสนาม
- Grok 4.5 และ Composer 2.5: สมัครสมาชิกรายเดือนผ่าน Grok CLI ไม่มีราคาต่อโทเค็น — ดังนั้นไม่มีตัวเลขดอลลาร์ที่ซื่อสัตย์ และไม่มีแถบในแผนภูมิของฉัน
ข้อควรระวัง ก่อนที่คุณจะอ้างฉัน
หนึ่งรันต่อโมเดล CLI สี่ตัวถูกเปิดตัวห่างกันนาทีหรือสองนาที ดังนั้นนาฬิกาจับเวลาในวิดีโอคือนาฬิกาจริงของแต่ละโมเดลจากบันทึกของตัวเอง ไม่ใช่ปืนที่พร้อมกัน — ระยะเวลานั้นซื่อสัตย์ "เส้นเริ่มต้น" ไม่เท่ากัน และฉันอยากบอกคุณมากกว่าที่จะปลอมการเริ่มต้นที่สะอาด ผู้ตัดสินแบบ headless ของ DeepSeek สุ่มตัวอย่างน้อยเกินไป ซึ่งเป็นสาเหตุที่ตัวเลขการลอยของมันต่ำที่สุด ฉันเรียกมันว่าความไม่แม่นยำเล็กน้อย ไม่ใช่ข้อผิดพลาด เพราะแผงสดของมันสุ่มตัวอย่างทุกเฟรมและการรันอิสระของฉันยืนยันค่าจริง และ "การตรวจสอบซื้อความมั่นใจ ไม่ใช่ความถูกต้อง" เป็นข้อกล่าวอ้างเกี่ยวกับ งานนี้ ซึ่งคำตอบสามารถตรวจสอบได้อย่างสมบูรณ์ — สำหรับงานแบบปลายเปิด (ดู การทดสอบ 02) การตรวจสอบซื้อความถูกต้องด้วยเช่นกัน
ทุกอย่างถูกเผยแพร่และรันแบบสด คุณไม่จำเป็นต้องเชื่อตัวเลขในบทความนี้ — กดปุ่มด้วยตัวเอง
https://x.com/0xBakeer/status/2077442955934101680
ลองดู
ไฟล์ทั้งสี่ที่ไม่ถูกแตะต้องรันในเบราว์เซอร์ของคุณ กด Play เพื่อดูความโกลาหล กด Run Referee เพื่อสร้างตัวเลขทั้งหมดด้านบนขึ้นมาใหม่:
- การทดสอบ: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- สนามประลอง (ทั้งสี่ตัว เคียงข้างกัน): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- โหมดบอด — ทายว่าใครสร้างอันไหน: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- การทดสอบ 02, รอบ Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- การทดสอบ 01, รอบ Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- ข้อมูลดิบ, พร้อมท์รวม: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
ตารางพลังงานคือกลุ่มควบคุม — มันควรจะเสมอกัน และมันก็เสมอ นาฬิกาคือการทดลอง และโหมดบอดคือประโยคสุดท้าย: คำตอบที่ถูกต้องสี่คำตอบสำหรับปัญหาที่โกลาหลดูเหมือนกันทุกประการ
— Khaled
