Bài kiểm tra [đầu tiên](https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html) không tìm ra người thắng cuộc. [Bài thứ hai](https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html) cho thấy những mô hình tự kiểm tra lại công việc của mình mới là những mô hình hạ cánh thành công. Đối với bài thứ ba, tôi chọn một bài toán mà đáp án sai là không thể che giấu — hỗn loạn xác định, với trọng tài được tích hợp sẵn trong tệp — và quan sát xem các mô hình sẽ làm gì khi tính đúng đắn không còn là yếu tố phân biệt chúng.
Câu chuyện cho đến nay
Bài kiểm tra 01 là một trình trực quan hóa Fourier trong một tệp HTML duy nhất, với một chỉ báo lỗi trực tiếp được tích hợp làm trọng tài. Bốn mô hình, cùng một lời nhắc, chỉ chạy lần đầu. Cả bốn đều cho ra kết quả toán học chính xác với sai số làm tròn không đáng kể. Điều duy nhất khác biệt là chi phí, chênh lệch đến ~200 lần. Kết luận trung thực và hẹp: đối với một nhiệm vụ được xác định rõ ràng với một đáp án có thể kiểm tra, việc lựa chọn mô hình không còn là biến số quan trọng.
Bài kiểm tra 02 là một trò chơi Lunar Lander có thể chơi được với hai trọng tài — vật lý rơi tự do chính xác và một hệ thống lái tự động kết thúc mở phải điều khiển trò chơi do chính mô hình tạo ra. Vật lý lại hòa nhau. Hệ thống lái tự động thì không: 20/20, 18/20, 5/20, 0/20. Và yếu tố dự đoán sự khác biệt không phải là tên hay giá của mô hình — mà là liệu mô hình có tự kiểm tra công việc của mình trước khi tuyên bố hoàn thành hay không.
Vì vậy, đối với bài kiểm tra 03, tôi muốn một nhiệm vụ hoàn toàn có thể kiểm tra được — không có nửa vời kết thúc mở lần này — nhưng đáp án có thể kiểm tra được lại thực sự khó làm giả. Nếu luận điểm "mô hình không quan trọng" là đúng, thì đây chính là lúc nó thể hiện mạnh mẽ nhất. Và tôi muốn xem còn điều gì để phân biệt bốn mô hình khi ngay cả tính đúng đắn cũng hội tụ.
Câu trả lời hóa ra là: hỗn loạn.
dấu vết phơi sáng lâu của con lắc kép
Bài kiểm tra: một trọng tài không thể tranh cãi
Luật chơi vẫn như mọi khi. Một lời nhắc, dán vào bốn CLI cùng một lúc, bốn thư mục, chỉ chạy lần đầu, ghi lại thiết bị đầu cuối.
Lời nhắc: một con lắc kép trong một tệp HTML độc lập. Các hằng số cố định (hai quả nặng 1 kg, hai thanh 1 m, g = 9.81), một vị trí bắt đầu cố định (cả hai tay đòn ở 120°, thả từ trạng thái nghỉ), các phương trình chuyển động phi tuyến đầy đủ, RK4 với bước thời gian 1/2000 giây. Vẽ nó, theo dõi quả nặng dưới cùng, và — mục đích của toàn bộ bài toán — tự chấm điểm vật lý của nó theo thời gian thực, trên màn hình, theo hai cách:
- Độ trôi năng lượng. Một con lắc kép không ma sát bảo toàn tổng năng lượng cơ học một cách chính xác. Do đó, ứng dụng tự tính toán năng lượng của nó mỗi khung hình và báo cáo mức độ nó đã trôi khỏi giá trị ban đầu. Bất kỳ sự trôi nào cũng là lỗi thuần túy của bộ tích phân. Có một đáp án giải tích chính xác, và nó là không. Đây là trọng tài không thể tranh cãi.
- Số mũ Lyapunov. Ứng dụng chạy một con lắc song sinh ẩn, giống hệt nhau ngoại trừ góc đầu tiên của nó bị đẩy lệch một phần tỷ (10⁻⁹). Nó đo tốc độ hai con lắc tách rời nhau, khớp với hàm mũ và báo cáo tốc độ tăng trưởng λ. λ dương là dấu hiệu toán học của sự hỗn loạn xác định — bằng chứng cho thấy chuyển động hoang dã trên màn hình là sự nhạy cảm thực sự với các điều kiện ban đầu, chứ không phải lỗi số học.
Một nút chạy cả hai kiểm tra trong chế độ không đầu qua 60 giây mô phỏng và in ra phán quyết.
Tại sao lại là con lắc kép? Bởi vì nó là ví dụ rõ ràng nhất về một hệ thống
hoàn toàn xác định và hoàn toàn không thể đoán trước cùng một lúc
. Các phương trình không có tính ngẫu nhiên. Chạy chúng hai lần từ cùng một điểm bắt đầu, bạn sẽ có cùng một chuyển động mỗi lần. Đẩy điểm bắt đầu lệch một phần tỷ radian và trong vòng mười lăm giây, hai con lắc sẽ làm những điều hoàn toàn khác nhau. Đây là bài kiểm tra căng thẳng hoàn hảo cho luận điểm: vật lý hoàn toàn có thể kiểm tra được, nhưng hành vi thì không thể ước lượng bằng mắt thường.
con lắc kép
Để chấm điểm những người chấm điểm, tôi đã tự xây dựng của riêng mình
Có một cái bẫy trong một bài kiểm tra tự chấm điểm: điều gì sẽ xảy ra nếu tất cả bốn ứng dụng đồng ý về một con số đơn giản là sai? Một lỗi dùng chung sẽ trông giống như sự đồng thuận.
Vì vậy, trước cuộc đua, tôi đã tự viết mô phỏng con lắc kép của riêng mình từ đầu — cùng hằng số, cùng RK4, cùng 60 giây — như một đáp án độc lập. Nó cho biết: năng lượng ban đầu 14.715 J, độ trôi tối đa trong 60 giây 6.6×10⁻⁸ % (đó là một sự làm tròn gần như hoàn hảo), số mũ Lyapunov lớn nhất ≈1.4 mỗi giây, và các quỹ đạo song sinh vượt qua một radian đầy đủ tại ≈14.5 giây.
Đó là sự thật cơ bản mà mọi ứng dụng bên dưới được đo lường. Không phải "các mô hình đồng ý với nhau" — mà là "các mô hình đồng ý với một mô phỏng độc lập mà tôi kiểm soát."
Cuộc đua
Bốn thiết bị đầu cuối, bốn công cụ khác nhau: Sonnet 5 trong Claude Code, Grok 4.5 và Composer 2.5 thông qua Grok CLI, DeepSeek V4 Pro trong opencode.
Hai trong số chúng coi nó như một cuộc chạy nước rút. Composer 2.5 về đích đầu tiên, trong 1 phút 43 giây — viết tệp, in một bảng kết quả "đã xác minh không đầu" gọn gàng, xong. Grok 4.5 theo sau với bản tường trình chi tiết nhất trong bốn: phương trình năng lượng sách giáo khoa rõ ràng nhất và hai số liệu phân tách trong khi những người khác chỉ báo cáo một.
Hai cái còn lại coi nó như một kỳ thi mà chúng phải nộp bài. Sonnet 5 viết tệp nhỏ gọn nhất trong nhóm và sau đó mở một trình duyệt thực — mười lăm lần — để thực sự chạy trọng tài của chính nó. Trên đường đi, nó nhận thấy tab tự động hóa đang bị Chrome làm chậm trong nền, suy luận rõ ràng rằng kiểm tra không đầu của nó không phụ thuộc vào hoạt ảnh, vẫn chạy nó và chỉ sau đó mới gọi nó là hoàn thành, tại . DeepSeek V4 Pro đã làm điều tương tự thông qua một công cụ khác — điều khiển Chrome không đầu, nhấp vào nút Run Referee của chính nó, chụp ảnh màn hình của bảng để xác nhận — và kết thúc, chỉ tiêu tốn tám xu.
bốn thiết bị đầu cuối, bốn tác nhân AI
Đây là manh mối, và nó đảo ngược bài kiểm tra 02. Composer và Grok báo cáo số liệu trọng tài chính xác mà không bao giờ mở tệp. Theo như bản ghi cho thấy, chúng khẳng định kết quả "đã xác thực" của mình chỉ từ suy luận. Sonnet và DeepSeek báo cáo số liệu chính xác vì chúng đã chạy thứ đó và đọc bảng điều khiển.
Có lẽ lần sau tôi cần buộc dùng playwright hoặc chrome e2e.
Kết quả, từ trọng tài của mỗi ứng dụng
Trọng tài #1 — độ trôi năng lượng, một nửa chính xác. Sự thật cơ bản: 6.6×10⁻⁸ %.
Mô hình
Độ trôi năng lượng tối đa (tự báo cáo)
Phán quyết
Sonnet 5
6.57×10⁻⁸ %
ĐẠT
Grok 4.5
≈6.6×10⁻⁸ %
ĐẠT
Composer 2.5
6.6×10⁻⁸ %
ĐẠT
DeepSeek V4 Pro
4.94×10⁻⁸ % *
ĐẠT
Hội tụ. Lần thứ ba. Cả bốn đều đạt cùng một đáp án tám chữ số thập phân như mô phỏng độc lập của tôi. Không ai giả mạo bộ tích phân — bạn không thể giả mạo nó, đó là toàn bộ thiết kế, và lần này thậm chí không ai cố gắng. (* DeepSeek đọc thấp hơn một chút chỉ vì kiểm tra không đầu của nó lấy mẫu năng lượng mỗi bước thứ 100 thay vì mỗi bước — bộ xác minh kém chính xác nhất trong bốn, mặc dù vẫn vượt qua một cách thoải mái.)
Trọng tài #2 — số mũ Lyapunov, nửa hỗn loạn. Sự thật cơ bản: ≈1.4 mỗi giây, dương.
Mô hình
λ ước lượng
Phân kỳ 1 radian
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
Tất cả đều dương. Tất cả đều nằm trong khoảng thời gian mà mỗi mô hình chọn để khớp. Sự hỗn loạn là có thật, được đo lường bằng bốn cách độc lập và nó phù hợp với đáp án.
độ trôi năng lượng
Vậy điều gì thực sự đã phân biệt chúng?
Hãy đọc hai bảng và câu trả lời trung thực là: về thứ mà bài kiểm tra đo lường, không có gì cả. Cả bốn đều đúng. Đây là lần mạnh mẽ nhất mà luận điểm "mô hình không quan trọng" đã thể hiện trong ba bài kiểm tra — nhiệm vụ hoàn toàn có thể kiểm tra được, thực sự khó và mọi mô hình đều hoàn thành xuất sắc.
Nhưng bài kiểm tra 02 đã dạy tôi nhìn vào cột không phải là điểm số. Lần trước, đó là hệ thống lái tự động. Lần này, đó là đồng hồ và trình duyệt.
- Hai mô hình nhanh (Composer 1:43, Grok 3:58) đã gửi các tệp chính xác mà chúng chưa bao giờ chạy.
- Hai mô hình chậm (Sonnet 9:07, DeepSeek 9:15) đã gửi các tệp chính xác vì chúng đã chạy chúng.
Đây là bước ngoặt từ bài kiểm tra 02. Lần trước, các mô hình không xác minh đã thất bại — hệ thống lái tự động của Grok đã đâm 15 trên 20 lần hạ cánh. Lần này, các mô hình không xác minh vẫn vượt qua. Composer và Grok đã đúng mà không cần kiểm tra.
Điều này làm sắc nét bài học thay vì lặp lại nó: xác minh không phải là thứ làm cho đầu ra trở nên đúng. Nó là thứ cho phép bạn biết nó đúng trước khi gửi đi. Trong một nhiệm vụ hoàn toàn có thể kiểm tra được, một mô hình đủ tốt có thể bỏ qua kiểm tra và vẫn đúng. Nó chỉ không thể biết là nó đúng. Composer và Grok đã đến đó trong một phần tư thời gian — và gửi đi một cách mù quáng. Sonnet và DeepSeek đã trả năm phút và tám xu đến hai đô la cho thứ mà những người chạy nước rút không mua: sự chắc chắn.
Việc đánh đổi đó có đáng giá hay không hoàn toàn phụ thuộc vào chi phí của việc sai. Đối với một hình ảnh trực quan dùng một lần, hãy gửi mù quáng và tiết kiệm vài phút. Đối với bất cứ điều gì mà một lỗi bộ tích phân thầm lặng có thể đến được môi trường sản xuất, mô hình mở trình duyệt là mô hình bạn muốn — và DeepSeek đã chứng minh rằng thói quen đó tốn bốn xu, chứ không phải hai đô la.
Chế độ mù: nơi bài kiểm tra này phát huy tác dụng
Có một lý do tôi chọn sự hỗn loạn. Đặt bốn con lắc cạnh nhau và để chúng chạy. Trong vòng mười lăm giây, mọi dấu vết là một hình vẽ nguệch ngoạc khó đoán khác nhau — và bạn không thể biết mô hình nào đã viết cái nào. Phong cách riêng, tên biến, các điểm nhấn UI nhỏ đều biến mất ngay khi vật lý chiếm ưu thế. Bốn cách triển khai chính xác của một hệ thống hỗn loạn, đối với mắt thường, là không thể phân biệt được.
Đó không phải là một lỗi trong bài kiểm tra. Đó là phát hiện, được hiển thị như một bức tranh: khi nhiệm vụ được xác định đầy đủ và giải quyết chính xác, dấu vân tay của mô hình biến mất. Hãy thử chế độ mù và xem liệu bạn có thể đánh bại một lần tung đồng xu không. Tôi đã không thể.
bốn dấu vết con lắc kép
Những gì hóa đơn đã mua
- DeepSeek V4 Pro: $0,0432, được chi tiết đến từng token. Nó cũng là một trong hai mô hình đã điều khiển một trình duyệt thực để tự chấm điểm. Rẻ nhất và siêng năng nhất — lựa chọn giá trị, một lần nữa, với chênh lệch hai bậc độ lớn.
- Sonnet 5: ~$2,02, tính theo token (nó chạy trên một gói, vì vậy đây là số lượng token của tôi × giá niêm yết). Hầu hết số tiền đó dùng cho vòng lặp xác minh mười lăm cuộc gọi đã tạo ra chữ ký cẩn thận nhất trong nhóm.
- Grok 4.5 và Composer 2.5: đăng ký phẳng thông qua Grok CLI, không có giá theo token — vì vậy không có con số đô la trung thực và không có thanh trên biểu đồ của tôi.
Các lưu ý, trước khi bạn trích dẫn tôi
Mỗi mô hình chạy một lần. Bốn CLI được khởi chạy cách nhau một hoặc hai phút, vì vậy đồng hồ bấm giờ trong video là thời gian tường thực sự của mỗi mô hình từ nhật ký riêng của nó, không phải một tiếng súng đồng bộ — thời lượng là trung thực, "vạch xuất phát" là so le, và tôi muốn nói với bạn điều đó hơn là giả tạo một khởi đầu sạch sẽ. Trọng tài không đầu của DeepSeek lấy mẫu dưới mức, đó là lý do tại sao số liệu trôi của nó đọc thấp nhất; tôi gọi đó là một sự thiếu chính xác nhỏ, không phải lỗi, vì bảng điều khiển trực tiếp của nó lấy mẫu mọi khung hình và lần chạy độc lập của tôi xác nhận giá trị thực. Và "xác minh mua sự tự tin, không phải tính đúng đắn" là một tuyên bố về nhiệm vụ này, nơi câu trả lời hoàn toàn có thể kiểm tra được — trong một nhiệm vụ kết thúc mở (xem bài kiểm tra 02) xác minh cũng mua tính đúng đắn.
Mọi thứ đều được công bố và chạy trực tiếp. Bạn không cần phải tin bất kỳ con số nào trong bài viết này — hãy tự mình nhấn nút.
https://x.com/0xBakeer/status/2077442955934101680
Hãy thử nó
Tất cả bốn tệp chưa chỉnh sửa đều chạy trong trình duyệt của bạn. Nhấn Play để xem sự hỗn loạn, nhấn Run Referee để tái tạo mọi con số ở trên:
- Bài kiểm tra: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- Đấu trường (cả bốn, cạnh nhau): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Chế độ mù — đoán xem ai đã xây dựng cái nào: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Bài kiểm tra 02, vòng Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Bài kiểm tra 01, vòng Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Dữ liệu thô, bao gồm lời nhắc: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
Bảng năng lượng là nhóm kiểm soát — nó được cho là hòa, và nó đã hòa. Đồng hồ là thí nghiệm. Và chế độ mù là điểm nhấn: bốn câu trả lời đúng cho một vấn đề hỗn loạn trông giống hệt nhau.
— Khaled
