İlk test bir kazanan çıkarmadı. İkincisi ise, kendi işini kontrol eden modellerin başarılı olduğunu gösterdi. Üçüncü test için, yanlış cevabın saklanmasının imkansız olduğu bir problem seçtim — deterministik kaos ve dosyanın içine gömülü bir hakem. Modellerin, doğruluğun artık onları ayıran şey olmadığında ne yaptıklarını izledim.
Şimdiye kadarki hikaye
Test 01, tek bir HTML dosyasında, canlı hata okuması yapan dahili bir hakemle birlikte bir Fourier görselleştiricisiydi. Dört model, aynı komut istemi, sadece ilk deneme. Dördü de birbirine yuvarlama hatası kadar yakın, çalışan matematik üretti. Değişen tek şey, yaklaşık 200 kat farkla faturaydı. Dar ve dürüst sonuç: kontrol edilebilir bir cevabı olan iyi tanımlanmış bir görev için, model seçimi önemli olan değişken olmaktan çıkıyor.
Test 02, iki hakemli oynanabilir bir Lunar Lander'dı — tam serbest düşüş fiziği ve modelin kendi oyununu uçurmak zorunda olan açık uçlu bir otomatik pilot. Fizik yine berabere kaldı. Otomatik pilot berabere kalmadı: 20/20, 18/20, 5/20, 0/20. Ve ayrımı öngören şey, modelin adı veya fiyatı değil, modelin işinin bittiğini söylemeden önce kendi işini test edip etmediğiydi.
Bu yüzden test 03 için, tamamen kontrol edilebilir bir görev istedim — bu sefer açık uçlu yarı yok — ancak kontrol edilebilir cevabın gerçekten taklit edilmesi zor olduğu bir görev. Eğer "model önemli değil" tezi gerçekse, en güçlü olduğu yer burası olmalı. Ve doğruluk yakınsadığında bile dört modeli ayıran şeyin ne olduğunu görmek istedim.
Cevabın kaos olduğu ortaya çıktı.
çift-sarkaç uzun pozlama izi
Test: Tartışamayacağınız bir hakem
Her zamanki kurallar. Tek bir komut istemi, aynı anda dört CLI'ya yapıştırıldı, dört klasör, sadece ilk deneme, terminaller kaydedildi.
Komut istemi: Kendi kendine yeten tek bir HTML dosyasında bir çift sarkaç. Sabit sabitler (her biri 1 kg'lık iki ağırlık, her biri 1 m'lik iki çubuk, g = 9.81), sabit bir başlangıç pozisyonu (her iki kol 120°'de, durgun halden bırakılıyor), tam doğrusal olmayan hareket denklemleri, 1/2000 s zaman adımında RK4. Çiz, alt ağırlığın izini sür ve — tüm meselenin amacı — kendi fiziğini canlı olarak, ekranda, iki şekilde derecelendir:
- Enerji sapması. Sürtünmesiz bir çift sarkaç, toplam mekanik enerjiyi tam olarak korur. Bu nedenle uygulama, her karede kendi enerjisini hesaplar ve başlangıç değerinden ne kadar saptığını rapor eder. Herhangi bir sapma, tamamen entegratör hatasıdır. Analitik bir doğru cevap vardır ve bu sıfırdır. Bu, tartışılamayacak hakemdir.
- Lyapunov üssü. Uygulama, ilk açısı milyarda bir (10⁻⁹) oranında dürtülmüş, aynı olan gizli bir ikiz sarkaç çalıştırır. İkisinin ne kadar hızlı ayrıldığını ölçer, üstel eğriyi uydurur ve büyüme oranı λ'yı rapor eder. Pozitif bir λ, deterministik kaosun matematiksel imzasıdır — ekrandaki çılgın hareketin sayısal bir hata değil, başlangıç koşullarına gerçek duyarlılık olduğunun kanıtıdır.
Bir düğme, her iki kontrolü 60 simüle edilmiş saniye boyunca kafasız olarak çalıştırır ve kararı yazdırır.
Neden çift sarkaç? Çünkü aynı anda
tamamen deterministik ve tamamen tahmin edilemez
olan bir sistemin en temiz örneğidir. Denklemlerde rastgelelik yoktur. Aynı başlangıçtan iki kez çalıştırırsanız, her seferinde aynı hareketi elde edersiniz. Başlangıcı milyarda bir radyan kadar dürtün ve on beş saniye içinde ikisi tamamen farklı şeyler yapıyor olacaktır. Tez için mükemmel bir stres testidir: fizik tam olarak kontrol edilebilir, ancak davranışı gözle değerlendirmek imkansızdır.
çift sarkaçlar
Değerlendiricileri değerlendirmek için kendiminkini yaptım
Kendi kendini değerlendiren bir testte bir tuzak vardır: ya dört uygulamanın tümü basitçe yanlış olan bir sayı üzerinde anlaşırsa? Paylaşılan bir hata, fikir birliği gibi görünebilir.
Bu nedenle yarıştan önce, bağımsız bir cevap anahtarı olarak kendi çift sarkaç simülasyonumu sıfırdan yazdım — aynı sabitler, aynı RK4, aynı 60 saniye. Diyor ki: başlangıç enerjisi 14.715 J, 60 saniye boyunca maksimum sapma 6.6×10⁻⁸ % (bu mükemmelden bir yuvarlama kılı kadar uzakta), en büyük Lyapunov üssü ≈1.4/saniye ve ikiz yörüngeler ≈14.5 saniyede bir tam radyan ayrılıyor.
Aşağıdaki her uygulamanın ölçüldüğü temel gerçek budur. "Modeller birbiriyle anlaştı" değil — "modeller, kontrol ettiğim bağımsız bir simülasyonla anlaştı."
Yarış
Dört terminal, dört farklı araç: Claude Code'da Sonnet 5, Grok CLI üzerinden Grok 4.5 ve Composer 2.5, opencode'da DeepSeek V4 Pro.
İkisi bunu bir sprint gibi ele aldı. Composer 2.5 ilk bitirdi, 1 dakika 43 saniyede — dosyayı yazdı, düzgün bir "doğrulanmış kafasız sonuçlar" tablosu yazdırdı, bitti. Grok 4.5 onu 3 dakika 58 saniyede takip etti ve dördü arasında en kapsamlı açıklamayı yaptı: en temiz ders kitabı enerji denklemi ve herkesin bir tane bildirdiği yerde iki ayrım metriği.
Diğer ikisi, teslim etmeleri gereken bir sınav gibi ele aldı. Sonnet 5, alanın en kompakt dosyasını yazdı ve ardından kendi hakemini fiilen çalıştırmak için gerçek bir tarayıcı açtı — on beş kez. Bu sırada, otomasyon sekmesinin Chrome tarafından arka planda kısıldığını fark etti, kafasız kontrolünün animasyona bağlı olmadığını yüksek sesle mantık yürüttü, yine de çalıştırdı ve ancak o zaman işin bittiğini söyledi, 9 dakika 7 saniyede. DeepSeek V4 Pro aynı türden şeyi farklı bir araçla yaptı — kafasız bir Chrome sürdü, kendi Hakemi Çalıştır düğmesine tıkladı, onaylamak için panelin ekran görüntüsünü aldı — ve 9 dakika 15 saniyede bitirdi, sadece sekiz sent harcayarak.
dört terminal, dört yapay zeka ajanı
İşte gösterge ve bu, test 02'yi tersine çeviriyor. Composer ve Grok, dosyayı hiç açmadan doğru hakem numaralarını bildirdiler. Kayıtların gösterdiği kadarıyla, "doğrulanmış" sonuçlarını yalnızca akıl yürüterek iddia ettiler. Sonnet ve DeepSeek doğru numaraları bildirdiler çünkü şeyi çalıştırdılar ve paneli okudular.
Belki bir dahaki sefere playwright veya chrome e2e'yi zorlamam gerekiyor.
Her uygulamanın kendi hakeminden sonuçlar
Hakem #1 — enerji sapması, kesin kısım. Temel gerçek: 6.6×10⁻⁸ %.
Model
Maksimum enerji sapması (kendi bildirdiği)
Karar
Sonnet 5
6.57×10⁻⁸ %
BAŞARILI
Grok 4.5
≈6.6×10⁻⁸ %
BAŞARILI
Composer 2.5
6.6×10⁻⁸ %
BAŞARILI
DeepSeek V4 Pro
4.94×10⁻⁸ % *
BAŞARILI
Yakınsadı. Üçüncü kez. Dördü de bağımsız simülasyonumla aynı sekiz ondalıklı cevaba ulaştı. Kimse entegratörü taklit etmedi — taklit edemezsiniz, tüm tasarım bu ve bu sefer kimse denemedi bile. (* DeepSeek, kafasız kontrolü her adım yerine enerjiyi her 100. adımda örneklediği için biraz daha düşük okuyor — dördünün en az hassas doğrulayıcısı, yine de rahatça geçiyor.)
Hakem #2 — Lyapunov üssü, kaos kısmı. Temel gerçek: ≈1.4/saniye, pozitif.
Model
Uydurulmuş λ
1-radyan ayrışma
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
Hepsi pozitif. Hepsi her modelin uydurmayı seçtiği pencere içinde. Kaos gerçek, dört bağımsız şekilde ölçüldü ve cevap anahtarıyla uyumlu.
enerji-sapması
Peki onları gerçekten ne ayırdı?
İki tabloyu okuyun ve dürüst cevap şudur: testin ölçtüğü şeyde, hiçbir şey ayırmadı. Dördü de doğru. Bu, "model önemli değil" tezinin üç testte en güçlü göründüğü hali — görev tamamen kontrol edilebilirdi, gerçekten zordu ve her model mükemmel yaptı.
Ancak test 02 bana skor olmayan sütuna bakmayı öğretti. Geçen sefer otomatik pilotdu. Bu sefer saat ve tarayıcı.
- İki hızlı model (Composer 1:43, Grok 3:58) hiç çalıştırmadıkları doğru dosyaları gönderdiler.
- İki yavaş model (Sonnet 9:07, DeepSeek 9:15) doğru dosyaları çalıştırdıkları için gönderdiler.
İşte test 02'den bir bükülme. Geçen sefer, doğrulama yapmayan modeller başarısız oldu — Grok'un otomatik pilotu 20 inişin 15'inde düştü. Bu sefer, doğrulama yapmayan modeller yine de geçti. Composer ve Grok kontrol etmeden doğruydu.
Bu, dersi tekrarlamak yerine keskinleştiriyor: doğrulama, çıktıyı doğru yapan şey değildir. Göndermeden önce doğru olduğunu bilmenizi sağlayan şeydir. Tamamen kontrol edilebilir bir görevde, yeterince iyi bir model kontrolü atlayabilir ve yine de doğru olabilir. Sadece doğru olduğunu bilemez. Composer ve Grok oraya çeyrek sürede ulaştı — ve körü körüne gönderdi. Sonnet ve DeepSeek, sprinterlerin satın almadığı bir şey için beş dakika ve sekiz sentten iki dolara kadar ödedi: kesinlik.
Bu takasın buna değip değmediği tamamen yanlış olmanın maliyetine bağlıdır. Tek kullanımlık bir görselleştirme için, körü körüne gönderin ve dakikalardan tasarruf edin. Sessiz bir entegratör hatasının üretime ulaştığı herhangi bir şey için, tarayıcıyı açan model istediğinizdir — ve DeepSeek bu alışkanlığın dört sente mal olduğunu, iki dolara değil.
Kör mod: Bu testin dişini gösterdiği yer
Kaosu seçmemin bir nedeni var. Dört sarkacı yan yana koyun ve çalıştırın. On beş saniye içinde her iz, farklı, tahmin edilemez bir karalamadır — ve hangi modelin hangisini yazdığını söyleyemezsiniz. Ev stili, değişken adları, küçük UI süslemeleri, fizik devraldığı anda kaybolur. Kaotik bir sistemin dört doğru uygulaması, göz için ayırt edilemez.
Bu, testte bir hata değil. Bu, bir resim olarak işlenen bulgudur: görev tam olarak belirtildiğinde ve doğru bir şekilde çözüldüğünde, modelin parmak izi kaybolur. Kör modu deneyin ve bir yazı tura atmasını yenip yenemeyeceğinize bakın. Ben yenemedim.
dört çift-sarkaç izi
Faturanın satın aldığı şey
- DeepSeek V4 Pro: $0.0432, token'a kadar detaylandırılmış. Ayrıca kendini değerlendirmek için gerçek bir tarayıcı kullanan ikisinden biriydi. En ucuz ve en çalışkan — yine, iki büyüklük mertebesiyle en iyi değer.
- Sonnet 5: ~$2.02, token bazlı (bir planda çalıştı, bu yüzden bu benim token sayım × yayınlanan fiyatlandırma). Çoğu, alanın en dikkatli imzasını üreten on beş çağrılık doğrulama döngüsüne gitti.
- Grok 4.5 ve Composer 2.5: Grok CLI üzerinden düz abonelik, token başına fiyat yok — bu nedenle dürüst bir dolar rakamı yok ve grafiğimde çubuk yok.
Uyarılar, beni alıntılamadan önce
Model başına bir çalıştırma. Dört CLI bir veya iki dakika arayla başlatıldı, bu nedenle videodaki kronometreler, senkronize bir tabanca değil, her modelin kendi günlüklerinden gerçek duvar saati süresidir — süreler dürüst, "başlangıç çizgisi" kademeli ve size bunu söylemeyi, temiz bir başlangıç uydurmaktan daha çok tercih ederim. DeepSeek'in kafasız hakemi az örnekleme yapıyor, bu nedenle sapma numarası en düşük okuyor; buna küçük bir kesinliksizlik diyorum, bir hata değil, çünkü canlı paneli her kareyi örnekliyor ve bağımsız çalıştırmam gerçek değeri doğruluyor. Ve "doğrulama güven satın alır, doğruluğu değil", cevabın tamamen kontrol edilebilir olduğu bu görevle ilgili bir iddiadır — açık uçlu bir görevde (bkz. test 02) doğrulama aynı zamanda doğruluğu da satın aldı.
Her şey yayınlandı ve canlı olarak çalışıyor. Bu makaledeki bir sayıya güvenmek zorunda değilsiniz — düğmeye kendiniz basın.
https://x.com/0xBakeer/status/2077442955934101680
Deneyin
Dört dokunulmamış dosyanın tümü tarayıcınızda çalışır. Kaosu izlemek için Oynat'a, yukarıdaki her sayıyı yeniden üretmek için Hakemi Çalıştır'a basın:
- Test: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- Arena (dördü yan yana): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Kör mod — hangisini kimin yaptığını tahmin edin: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Test 02, Lunar Lander turu: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Test 01, Fourier turu: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Ham veriler, komut istemi dahil: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
Enerji tablosu kontrol grubudur — berabere bitmesi gerekir ve öyle olur. Saat deneydir. Ve kör mod can alıcı noktadır: kaotik bir problemin dört doğru cevabı tıpatıp aynı görünür.
— Khaled
