Bu, hepinizin beklediği Kimi K3 yazısı. Bu modele erken erişim sağladım ve çekirdekler üzerinde test ediyorum; benchmark skorlarını görmeden önce bile, problemleri mantıksal olarak çözme yeteneğinden ve düşünce izlerinin teknik yoğunluğundan etkilenmiştim. Bunun üzerindeki eğitim sonrası (post-training), bir transkripti okuduğunuz anda belli oluyor. Ayrıca konuşması da oldukça eğlenceli.
TLDR;
Bir çekirdek ve performans mühendisi olarak, benchmark'lardan bağımsız bir şekilde dürüst geri bildirimimi vermem gerektiğini düşünüyorum (bu kısım sesli yazıldı). Elbette tüm sayılara bakıp okuyabilir ve kendiniz için bir zihinsel model oluşturmaya çalışabilirsiniz. Bence en dürüst yansıma, benchmark sonuçları çıkmadan önce, yani modeli diğer modellerle ilişkilendirecek hiçbir sayı yokken, zorlu görevlerde modelle olan deneyimimi size aktarmam. Sadece zekayı, akıl yürütmeyi, ajan delegasyonunu ve benim için ne kadar otomatik pilot yapabileceğini hissetmek, ama henüz etrafta hiçbir hype dolaşmıyorken ve resmi sonuçlar çıkmamışken. Şunu söyleyebilirim ki, benim yönlendirmemle kabaca Fable seviyesindeydi, bazı durumlarda çok benzersiz şekillerde daha iyi performans gösteriyor, bazı durumlarda ise daha düşük performans gösteriyordu. Bu modelin çoğu şeyde Opus 4.8'in kesinlikle önünde olduğunu ve birçok şeyde GPT 5.6 Sol'un önünde olduğunu söyleyebilirim.
Konuya girelim...
Bunun neden şimdi yayınlandığı konusunda açık olmak istiyorum: Dürüst düşüncelerimi ve olduğu gibi skorları paylaşmak istedim, son hücre bitene kadar üzerlerinde oturmak değil. Bunu yazarken birkaç çalışma hala devam ediyor. Aşağıda işaretlendiler ve sonuçlandıkça sizi bilgilendireceğim. Hem 256K hem de 1M bağlam versiyonlarını çalıştırdım. Buradaki her şey NVIDIA RTX PRO 6000 Blackwells, H100'ler ve B200'ler üzerinde, yalnızca tek GPU optimizasyonu ile çalıştırıldı. Her hücre, sınırsız duvar saati ile tek bir otonom ajan oturumudur: model problemi alır, gerçek donanım üzerinde canlı bir derleme/kontrol/benchmark döngüsü yürütür ve ne zaman işinin bittiğine kendisi karar verir. Her başlık hücresi, ödül avı (reward hacking) için manuel olarak denetlendi. Ayrı bir ajan, nihai çekirdeği baştan sona ve tüm oturum izini okur ve önbellekleme veya değerlendirici oyunları gibi kokan her şeyi ampirik olarak yeniden test eder. Bu denetimlerin buldukları kendi bölümünü alacak.
Cevabını Merak Ettiğim Bir Şey
Bu sürümü özellikle şu soruyu cevaplamak için tasarladım: Problemlerden ikisi Moonshot'ın kendi mimarisine ait. Hard güvertesinde bağımsız bir Kimi Delta Attention parça-ileri (chunk-forward) çekirdeği var ve Mega güvertesinin amiral gemisi problemi ise tam bir Kimi-Linear hibrit kod çözme adımı: KDA katmanları, MLA dikkat, MoE uzmanları, tüm blok. Bu, pek kimsenin sık sık test edemediği bir şeyi test etme şansıydı: Bir laboratuvarın modeli, aynı laboratuvarın mimarisi için çekirdekler yazmaya oturduğunda, aile bilgisi CUDA'da kendini gösteriyor mu?
Cevabın gerçekten ikiye bölündüğü ortaya çıktı ve her iki yarı da ilginç. Bu soruyu bir sonraki bölüm boyunca aklınızda tutun.
KernelBench-Mega
Amiral gemisi mega problem: tüm bir token başına Kimi-Linear kod çözme adımını (3x KDA + 1x MLA katmanı, W4A16 nicelenmiş ağırlıklar, top-8 yönlendirmeli MoE) mümkün olduğunca az çekirdek başlatmasıyla birleştirin.
K3, kendi soyunda tüm zamanların rekorunu neredeyse kırdı. RTX PRO 6000 üzerinde istekli (eager) performansa göre 18.09x geometrik ortalama hızlanma, Fable 5'in rekoru olan 18.72x'in %4 yakınında. H100'de, Opus 4.8'in 15.50x'ine karşı 14.82x gönderdi. Oranın gizlediği bir dürüstlük notu: mutlak token başına gecikmede Fable hala ~1.4x önde (ctx 2048'de 0.31'e karşı 0.44 ms/tok; iki çalışma, oranın hesaplandığı istekli taban çizgisini değiştiren farklı CPU'lara sahip ana bilgisayarlar kullandı), bu yüzden geometrik ortalamanın kimseyi pohpohlamasına izin vermek yerine her ikisini de rapor ediyorum.
K3'ün inşa ettiği şey gerçek bir megakernel. İlk oturumu mantıklı olanı yaptı, 14.1x'te kalıcı bir Triton çekirdeği. İkinci oturumu Triton'u attı ve tüm token başına kod çözme adımını TEK bir işbirlikçi olarak başlatılan CUDA çekirdeği olarak yazdı: döngüde sıfır CPU, int4 ağırlıkları her GEMV'nin içinde anında (on the fly) nicelikten arındırılıyor, böylece SM'lerden tam olarak bir kez akıyorlar, tensör çekirdeklerinde MLA dikkat. Hiçbir üretim motoru 1,228 satırlık bir yapıyı korumaz. Kazanmak için bir çekirdeği ve sınırsız zamanı olan bir ajanın böyle bir kısıtlaması yoktur ve tam olarak bu tür şeyleri gün yüzüne çıkarmak benchmark'ın var olma nedenidir.
Megakernel'i burada görün:
Peki neden hala Fable'a kaybetti? Zaman değil. Her iki oturum da erken sonlandırıldı (Fable 2.6 saatte, K3 3.3 saatte). Fark tasarım felsefesi ve tahmin edeceğinizin tam tersi: K3 tensör çekirdeklerini kullanan, Fable'ın çekirdeği ise sıfır MMA talimatı içeriyor. Birleştirilmiş int4 GEMV'ler ile toplu-1 kod çözme, bant genişliği sınırlıdır, bu nedenle tensör çekirdekleri burada neredeyse hiçbir şey kazandırmaz. Fable bu çabayı bunun yerine senkronizasyona harcadı, küresel bariyerlerinin çoğunu ince taneli üretici-tüketici el değiştirmeleriyle değiştirerek hiçbir SM'nin bir aşama sınırında boşta kalmamasını sağladı ve referansın yuvarlamasıyla bit bazında eşleşen bir int4 nicelikten arındırma yolu üzerinde çalıştı, böylece MoE yönlendiricisi asla bir uzman seçimini tersine çevirmedi. K3 daha iyi donanım talimatları getirdi; Fable daha iyi eşzamanlılık mühendisliği getirdi ve bu aritmetik yoğunlukta ikincisi kazanır. Bu gerçek bir sistem dersi ve ev sahibi takıma rekora mal oldu.
İkinci mega problem bir ızgarada yiyecek arayan PPO eğitim megakernel'i: 11x11'lik bir tahtada 4,096 vektörleştirilmiş ajan, tüm RL eğitim döngüsü (ortam adımı, politika ileri geçişi, eylem örneklemesi, GAE, PPO güncellemesi) birleştirilmiş kalıcı çekirdekler olarak çalışıyor. Bu problem, güvertedeki en katı kısıtlamaya sahiptir: çekirdek başlatma sayısı ortam adımlarıyla ölçeklenmemelidir ve CUDA grafik yakalama, bir başlatma yükü geçici çözümü olarak açıkça yasaklanmıştır; bu, son kodu okuyan çalışma sonrası bir özgünlük yargıcı tarafından zorunlu kılınır. Doğruluk, öğrenme eğrisinin kendisidir. check.py çözümünüzü referansa karşı tohumlar arasında eğitir ve getirinin bir bant içine düşmesini gerektirir, bu nedenle hızlı gitmek için öğrenmeyi atlayamazsınız. K3 burada referansın 20.7 katını gönderdi, şimdiye kadarki en iyi skor (yayınlanan diğer tek hücre GPT-5.6 Sol'un 1.06x'i, bu yüzden bunu bir podyum değil, bir veri noktası olarak ele alın).
KernelBench-CUDA
CUDA benchmark'ı vardır çünkü Triton, diğer iki güvertenin izin verdiği bir koltuk değneğidir. Burada bir dil geçidi Triton'u, çekirdek DSL'lerini ve PyTorch op-zincirlerini katı bir şekilde başarısız kılar: CUDA yazarsınız veya başarısız olursunuz. Seçtiğim dört problem, gerçek üretim çıkarımı ve simülasyon iş yüklerinin kesitleridir. Okurken zihinsel karşılaştırma, "vLLM veya SGLang bunun için bugün ne gönderiyor ve bir ajan oturumu ne kadar yaklaşıyor" olmalıdır. K3'ün en orantısız galibiyetlerini gönderdiği yer burasıdır.
02_deepseek_nsa: DeepSeek'in Yerel Seyrek Dikkati (Native Sparse Attention). NSA, amiral gemisi eğitilebilir-seyreklik dikkat tasarımıdır, her uzun-bağlam sunum yığınının etrafında dolaştığı şeydir ve milisaniyelerle değerlendirilir çünkü doğru bir seyrek çekirdek, bir tavan çizgisinin (roofline) saymak isteyeceği yoğun-eşdeğer FLOP'ları asla çalıştırmaz. K3'ün 256K varyantı, tam NSA seçim mantığı etrafında sıfırdan bir flaş-dikkat sınıfı tensör-çekirdek hattı yazarak Opus 4.8'in 0.178'ine karşı 0.425 puan alarak 2.4x farkla kazandı. Daha keskin karşılaştırma aile içindedir: 1M varyantı aynı algoritmayı, aynı blok seçimini, aynı doğruluğu yazdı, ancak her nokta çarpımını tensör çekirdekleri yerine düz CUDA çekirdeklerinde çalıştırdı ve aynı şekillerde 7x daha yavaş olan 0.058'te kaldı. İzi, daha iyisini bildiğini gösteriyor. Kendi yol haritasında "tensör-çekirdek dikkati" vardı ("tensör çekirdeklerinde seçim = ~10-20 us!!") ve önce ölçmeyi, ardından tensör-çekirdek yeniden yazımını yapmayı açıkça planladı, ancak yeniden yazımdan önce oturumunu sonlandırdı. Aynı bilgi, farklı kapanış disiplini.
0.425 DeepSeek NSA çekirdeği (256K):
03_megaqwen_decode: gerçek bir megakernel'i yeniden hedefleme. Ajanlara çalışan üretim CUDA'sının verildiği tek problem: yayınladığım MegaQwen (https://github.com/Infatoshi/megaqwen) işbirlikçi megakernel'i (RTX 3090'da tam modeli çalıştıran ~530 tok/s), onu okuma, Blackwell'e yeniden hedefleme ve geçme talimatlarıyla. Başkasının CUDA'sını okumayı ve mimari bir yargı çağrısı yapmayı test eder ve K3 ile Opus tamamen zıt çağrılar yaptı. K3, tek başlatma yapısını korumayı reddetti: adımı bir avuç bant genişliği-doyuran çekirdeğe böldü, ardından başlatma yükünü, tüm adımı sıfır CPU işiyle yeniden oynatan bir CUDA grafiği olarak bir kez yakalayarak farklı bir şekilde sildi. ctx 2048'de 6,283 tok/s. Opus, megakernel estetiğini korudu ve tüm kod çözme döngüsünü kalıcı bir işbirlikçi çekirdekte birleştirdi, gerçekten güzel bir kod ve bunun için 5x ödedi (1,020 tok/s), çünkü işbirlikçi birlikte ikamet (co-residency) doluluk oranını sınırlar ve her ızgara çapındaki bariyer, aşama kuyruklarını 188 SM'nin tamamında seri hale getirir. Megakernel'den türeyen problemde, kelimenin tam anlamıyla bir megakernel inşa eden model sonuncu geldi ve kazananın kilit kararı bir tane inşa etmeyi reddetmekti. Kimse manşeti yanlış alıntılamasın diye ölçek kontrolü: benchmark, Qwen3-0.6B geometrisinin 4 katmanını, tam bir model değil, yaklaşık 63M parametreyi çalıştırır ve 6,283 tok/s, bu yığın için ağırlık-akış tavan çizgisinin ~%56'sıdır; 3090 taban çizgisinin kendi rakamını ölçeklendirmek ~7,000'i tahmin eder, bu nedenle K3 "referans, yeniden hedeflenmiş, artı gerçek ayar" sınıfına indi. (Güverte tasarımı nüansı: CUDA grafikleri burada geçerlidir ve PPO probleminde yasaktır. Her problem, belirli becerisini taklit edecek kısayolu tam olarak yasaklar.)
01_glm52_fused_moe: GLM-5.2'nin birleştirilmiş MoE bloğu. Birleştirilmiş MoE dağıtımı (yönlendirme, permütasyon, gruplandırılmış uzman GEMM'leri tek geçişte), mevcut açık model sunumundaki en sıcak çekirdek sınıfıdır ve GLM 5.2 tam olarak bu liderlik tablosunda yer alır, bu nedenle modeller bir rakibin üretim bloğunu optimize ediyor. Kimse çatlatamadı: skorlar tepe noktasının 0.05-0.08'inde kümeleniyor ve temiz rekor sahibi, tüm modeller arasında, 0.084 ile Grok 4.5; K3'ün 1M varyantı 0.081 ile hemen arkada ve Opus 0.065 ile. Gruplandırılmış-GEMM permütasyon problemi, cuBLAS sınıfı taban çizgilerini yenmek için gerçekten zordur ve şimdiye kadar bir ajan oturumunun çabası, onu güvertedeki diğer herhangi bir problemden daha az hareket ettirir.
04_grid_mingru_sps: ızgara dünyası + MinGRU politika dağıtımı. Mega PPO probleminin çıkarım tarafındaki kardeşi ve craftax.cu-soy hücresi: politika, problem için bilgi çapası görevi gören klasik benchmark'ım https://github.com/infatoshi/craftax.cu'daki 3 katmanlı MinGRU (h=256) yapılandırmasıdır. Adımlanan ortam, tam Craftax oyunu yerine minimum ızgara- yiyecek arama dünyasıdır. Bu kasıtlıdır: ortam önemsiz tutulur, böylece skor, oyun mantığı uygulamasını değil, tekrarlama (recurrence) ve dağıtım birleştirme becerisini ölçer. Tam bir craftax taşıması kendi problemi olurdu ve onu eklemek istiyorum. Sessiz bir RTX PRO 6000'de saniye başına adım olarak derecelendirilir, birleştirme isteğe bağlıdır.
1M kalıcı-çekirdek dağıtımı:
Her ciddi gönderim kalıcı-megakernel'e gitti ve aralarındaki fark, mega güverteyle aynı ders olan senkronizasyon tasarımıdır. Opus bunu tavanın 0.327'sinde alır (ayrıca zekice bir cebirsel katlama buldu: katman 0'ın 768x256 kapı GEMM'i, kodlayıcı doğrusal olduğu için 768x4'e çöker), K3 [1M] 0.224 ile ikinci, K3 256K 0.174 ile, Grok 0.002 ile çok geride. Problem craftax.cu'dan türediği için, aynı GPU'ya aynı h256x3 politikasıyla kendi tam oyun Craftax CUDA bağlantı noktamı (Fable 5 ile yazılmış) da koydum. Milyonlarla saniye başına ortam adımı:
Karşılaştırma noktası: modeller boş bir ızgarayı adımlar, craftax_full.cu tam oyunu adımlar (43 eylem, çok katlı zindanlar, dünya oluşturma, canavarlar) CPU referansıyla bit-özdeş olarak ve tam oyun hala en iyi önemsiz-ızgara çekirdeğinin ~3-4x yakınında çalışır, çünkü h=256'da her şey politika-GEMM'si sınırlıdır ve ortam neredeyse ücretsizdir. Benchmark ortamının önemsiz olmasının nedeni tam olarak budur: politika-birleştirme becerisini izole eder. Kalibrasyon için, craftax_full.cu'nun yalnızca ortam yolu 94-123M SPS yapar.
9.5 Saatlik K3 Akıl Yürütmesi Gerçekte Nasıl Görünüyor
1M varyantının minGRU oturumu (bu problemdeki en iyi K3 hücresi) bir kalıcı işbirlikçi megakernel, 15 ayar varyantı ve 4,815 düşünce bloğudur. Moonshot'ın uç noktası tam akıl yürütme metnini döndürdüğü için (şifrelenmiş Anthropic/OpenAI izlerinin aksine), aslında çalışırken izleyebilirsiniz. İzden üç an, aynen.
Eksik-FMA dedektif hikayesi. Oturumun ortasında, kayan nokta gürültüsü olarak reddetmeyi reddettiği ~5e-5'lik bir sayısal sapma ile karşılaştı (meşru yeniden sıralama-gürültü tabanını ~1e-9 olarak hesaplamıştı, bu yüzden "ÖLÇÜLEN 5e-5?!?! YENİDEN SIRALAMA OLAMAZ!!"). Daha sonra bozuk ortamların tam olarak 8 mod 6'ya uygun olanlar olduğunu fark etti ("Bu env ≡ 6 (mod 8)! [...] her 8-env döşemesindeki 7. env!!") ve kendi elle açılmış biriktirici kodunu didik didik edene kadar:
"BULDUM! [...] \
acc[6][0][2] += av * b_zp.x; acc[6][1][2] += av * b_zp.y;\satırı TAMAMEN EKSİK [...] acc[6][*][2] 0 olarak başlatıldı, asla FMA'lanmadı → zp=0 → p = sigmoid(0)=0.5, env 6 için sabit!! Bu GERÇEK bir mantık hatası — env≡6 sapmalarını açıklıyor [...] her şeyle tutarlı!!"
48 biriktiricili bir açılımda düşen bir satır, yani env 6'nın unutma kapısı sessizce sonsuza kadar 0.5'te takılı kaldı. Bunu, stres toleransı 1e-6 olduğu ve kendi hatasını 5e-8'de takip ettiği için yakaladı. Bu, 256K varyantının başlangıçta KDA'da eksik olduğu sayısal disiplindir.
Teori GPU ile buluşuyor, GPU kazanıyor. Saatlerce yüksek doluluklu bir "geniş şampiyon" varyantı türetti, ardından A/B testini çalıştırdı:
"ÇOK şaşırtıcı: 'geniş şampiyon' w32p (v3_v3, %50 doluluk TPB1024) v2_b32'den (%12.5 doluluk TPB256) ~2x DAHA YAVAŞ?!? [...] Yani doluluk oranı sürücü DEĞİL; başka bir şey baskın. v2_b32'yi hızlı yapan neydi??"
Basit erken çekirdek, her karmaşık halefini yendi. Derin boru hattı, K-bölmeli ve çift-parçalı varyantlar da kaybetti ve çift-parçalı olanın arkasında hava geçirmez 1.7x teorisi vardı ("Teorik 1.7x gerçekleşmedi"). Onun kredisine, her seferinde kendi matematiği yerine benchmark'a inanmaya devam etti ve sonunda, kendi favori bant genişliği teorisini öldürmek için özel olarak sahte her zaman-sıcak ağırlıklara sahip bir prob varyantı yazdı: "W-akış teorisi ölü; kalan boşluk ortam."
Zen ve GPU kuyruğa alma sanatı. Koşum takımımız, tüm GPU komutlarını eşzamanlı oturumlar arasında paylaşılan bir kilit aracılığıyla seri hale getirir ve K3'ün benchmark sayıları komşu yük ile 8 kata kadar dalgalanıyordu. Tepki yayı, izdeki en komik şeydir. Önce kabullenme:
"Açıkçası kutu kutudur; bekle. [...] Desen net: her kiracı kilidi ~20-35 dakikalık aralıklarla (tam boru hattı paketleri) tutar. En iyi tepkim: ihtiyacım olan her şeyi TEK seferde sıraya koy (sırada tek bir pozisyon) ve bekleme süresini CPU işi için kullan. Birçok küçük komut sıraya koyma; toplu iş."
Ardından GPU havası için kendi kelime dağarcığını icat etti ("fırtına pencereleri" vs "sakin pencereler") ve sonunda sessiz anları avlamak için bir cron işi planladı ve gelecekteki kendisine bir not bıraktı: "Sakin-pencere nişancısı planlandı (her 11 dk). Not: cron, istemimi bana geri gönderir — o zaman harekete geçerim. [...] Bitince sileceğim." Ölçüm gürültüsü altındaki bir ajan, gürültüye sadece tahammül etmekle kalmadı; etrafında bir zamanlayıcı inşa etti.
KernelBench-Hard
RTX PRO 6000 Blackwell
H100
B200
SOTA kitaplık tavanlarına karşı (FP8 GEMM, KDA parça-ileri, sayfalanmış dikkat, top-k seçimi, MoE SwiGLU, W4A16 GEMM) altı işlem başına problem, CUDA veya Triton, ajanın seçimi. RTX PRO 6000'de K3'ün 256K varyantı, bir tanesi öne çıkan olmak üzere paketin ortasında yer alıyor: W4A16 GEMM'de tepe noktasının 0.373'ü, herhangi bir modelin bu problemde gönderdiği en iyi skor, Fable 5'in (0.348) önünde ve Opus 4.8'in (0.236) oldukça ilerisinde. 1M varyantı daha sonra top-k'de 0.0895 ile önceki en iyiyi neredeyse ikiye katlayarak başka bir rekor kırdı.
W4A16 GEMM rekoru (0.373, 256K, RTX):
H100'deki aynı problem, bu sürümdeki en iyi "sınırsız zaman gerçektir" veri noktasını üretti. K3'ün ilk H100 oturumu tepe noktasının 0.123'ünde kaldı. İkinci oturum 21 saat sürdü, 1,383 dolar ve 274M giriş token'i yaktı ve neredeyse üç katına çıkarak 0.306'ya ulaştı: CUTLASS'ı kaynaktan kontrol etti, ardından sıfırdan marlin sınıfı int4 mekanizmasını yeniden uyguladı, parça sıralı nibble yeniden paketleme, böylece nicelikten arındırma MMA boru hattının içinde bf16 sihirli sayı bit hilesi olarak gerçekleşir, sıfır-nokta düzeltmesi sonsöz (epilogue) içine katlanır. Dosyada hiçbir yerde önceden oluşturulmuş nicelenmiş-GEMM kitaplığı yok; çalıştırmadaki çerçeve etiketi sadece "ptx" diyor. Temiz denetlendi.
Ve işte kendi mimarisi sorusunun diğer yarısı. Bağımsız KDA çekirdeği, kelimenin tam anlamıyla Kimi Delta Attention'dan sonra adlandırılan problem, K3'ün en başarısız olduğu yerdir. RTX kutusundaki iki bağımsız 256K oturumu, nominal doğruluğu geçti ve ardından sayısal stres paketi (büyük-QKV girdi ölçekleme) altında toleransı patlattı, her iki seferde de aynı başarısızlık. Üçüncü bir oturum nihayet düzeltti: denetim, her iki başarısızlığı da bozunmanın çarpanlara ayrılma şeklindeki gerçek bir bf16 taşmasına kadar izledi ve 3. tur, her iki üstel faktörün de sınırlı kalması için matematiği parça sonu etrafında yeniden yapılandırdı ve aynı değiştirilmemiş geçidi 0.032'de geçti. Bir mimariyi bilmek ve bir çekirdeğin sayısal özelliklerini düşmanca girdi ölçekleri altında sağlamlaştırmak farklı becerilerdir ve adaşı problemde olan model, geçişi yavaş yoldan kazanmak zorunda kaldı. (Bu arada 1M varyantı, aynı stres paketini 0.049'da geçti. Modeller monoton değildir.) Her KDA çözümünü okumaktan bir gözlem daha: problem ifadesi, SM120'de amaçlanan yol olarak CUTLASS CuTe'yi önerir ve tek bir model bile onu almadı. K3 bir oturumda ham-CUDA birleştirilmiş bir çekirdek ve diğerlerinde Triton yazdı; Fable, Opus ve geri kalanı da Triton veya ham CUDA'yı seçti. Tüketici Blackwell'de CuTe'nin görünüşe göre hala her öncü modelin konfor bölgesinin dışında olması, başlı başına eğitim külliyatları hakkında bir veri noktasıdır.
KDA paragrafı — üçüncü deneme temiz geçiş (0.032):
Top-k feragatnamesi. Top-k, bir tavan çizgisi tablosunda her model için feci görünür (herhangi bir yerdeki en iyi skor 0.09'dur) ve bu çerçeveleme basitçe yanlıştır. Problem başlatma-yükü sınırlıdır: bir indeksleme/sıralama problemidir, bir aritmetik-yoğunluk problemi değildir ve tavan çizgisi tavanı bunun için yapısal olarak okunamaz. Onu yargılamanın dürüst yolu, güverte şekilleri arasındaki toplam milisaniyelerdir ve orada K3'ün 1M varyantı, test ettiğimiz herhangi bir modelin en hızlı top-k'sidir: beş güverte şekli boyunca toplam 0.043 ms, Fable 5'in 0.077'sine, Opus 4.8'in 0.120'sine ve GLM 5.2'nin 0.159'una karşı. 256K varyantının 0.060 ms'si ikinci sıradadır ve 1M varyantı, beş şeklin her birinde açık ara en hızlıdır.
GPU başına yayılım. K3'ün sayıları RTX'ten H100'e ve B200'ye doğru azalır (FP8 GEMM: 0.320 / 0.282 / 0.222; sayfalanmış dikkat: 0.486 / 0.496 / 0.212). Bunun bir kısmı gerçektir: silikon ne kadar yenişse, tavan çizgisi tavanı o kadar yüksektir, bu nedenle aynı mühendislik tepe noktasının daha küçük bir kısmını satın alır ve B200 yazılımı üçünün en olgunlaşmamış olanıdır. Bir kısmı da B200 çalıştırmalarının, yeniden deneme bütçesi olmayan tek bir gece penceresinde gerçekleşmesidir. K3 veya başkası için henüz B200 sütunundan derin mimari sonuçlar çıkarmam. Gerçek olduğunu düşündüğüm şey: K3 en çok, çoğu insanın veri merkezleri dışında gerçekten sahip olacağı GPU sınıfı olan Blackwell iş istasyonu parçasında evindedir.
256K vs 1M
1M bağlam ayarı, aileye gecikme ve zamanlama sınırlı problemlerde liderlik eder: Hard'da rekor top-k, CUDA'da en iyi K3 minGRU dağıtımı ve sınırsız koşum takımı altında PPO eğitim megakernel'inde denetlenmiş-temiz 28.8x. İlk oturumunda KDA sayısal stres testini 0.049'da geçti; 256K varyantı bu geçidi, üçüncü denemede nihayet 0.032'de geçmeden önce iki kez başarısız oldu. 256K varyantının iyi idare ettiği hesaplama sınırlı problemlerde (sonic MoE 0.033'e karşı 0.089, W4A16 0.027'ye karşı 0.373, NSA 0.058'e karşı 0.425) çöktü. NSA durumunda iz, tam mekanizmayı gösterir: tensör-çekirdek yeniden yazımını planladı ve bunu yapmadan oturumu sonlandırdı.
28.8x PPO eğitim megakernel'i (1M):
Aynı problemin H100'de yeniden çalıştırılması ilginç bir kontrol sağlıyor: bağımsız ve temiz bir oturum (denetim, RTX çalıştırmasından sıfır okuma yapıldığını doğruladı) 23.1 kat hızlanma sağladı ve aynı tasarımda birleşti, tüm eğitim boyunca tek bir işbirlikçi başlatma, parametreler ve Adam durumu paylaşımlı bellekte yer aldı ve aynı egzotik hile iki kez icat edildi: randperm yerine geçen, döngü yürütmeli 18 bitlik bir Feistel şifresi, böylece minigrup karıştırması bir permütasyon oluşturmadan tamamen çift yönlü kalıyor. İki çekirdeğin farklılaştığı noktalar, saf GPU başına ayarlamalar: H100'de ortam başına 8 şerit, RTX'te ortam başına yarım warp, artı H100 tarafında doluluk tabanlı bir başlatma otomatik ayarlayıcısı. Aynı zihin, aynı hileler, farklı silikon, gerçekten farklı çekirdekler.
Ödül Avcılığı
Bu yazıdaki her hücrenin arkasında manuel bir denetim var: bağımsız bir ajan, son çekirdeği baştan sona okur, tüm oturum izini okur, notlandırma dosyalarının değiştirilmediğini kontrol eder, sayısal stres testinin gerçekten çalıştığını doğrular ve girdileri yerinde değiştirerek çıktıların değiştiğini onaylayarak herhangi bir önbelleğe alma veya CUDA grafik desenini ampirik olarak yeniden test eder.
K3 için kararlar: üç GPU'da da her 256K hücrede tamamen temiz. Önbelleğe alınmış çıktı yok, tolerans düzenlemesi yok, notlandırma kurcalaması yok, yasaklı kütüphane aklaması yok. İki KDA başarısızlığı, bu madalyonun diğer yüzü ve açıkça belirtmeye değer: sayısal stres kapısı, gerçek hassasiyet kısayollarını yakaladı ve model, kapıyı geçmek için hile yapmaya kalkışmadı. Modellerin dürüstçe başarısız olabildiği bir kıyaslama, ancak geçişlerinin bir anlam ifade ettiği türdendir.
Bir adet 1M hücresi işaretlendi ve bunu yayınlamak yerine açıklıyorum: birleştirilmiş Qwen kod çözme probleminde, 1M ajanı, aynı problemdeki önceki bir Grok 4.5 çalıştırmasından denetim açıklama dosyasını buldu ve okudu, buna "son derece kullanışlı veri" dedi ve sonuçlarını kalan optimizasyon çalışmasına yönlendirmek için kullandı. Çekirdeğin kendisi orijinal ve skor aritmetiği geçerli, ancak kaynak kirli, bu nedenle o hücre hariç tutuldu ve problem 1M varyantı için bir boşluk olarak kaydedildi. Dosya sistemi erişimi olan ajanlar, etrafta bıraktığınız her şeyi bulacaktır; denetimin yalnızca çekirdekleri değil, izleri de okumasının ve bu kıyaslamanın tamamen sanal alana alınmış bir tekrar çalıştırmasının yol haritasında olmasının nedeni tam olarak budur.
Komik Anlar
Yukarıdaki hiçbir yere sığmayan birkaç K3 anı daha, daha fazla yorum yapılmadan sunulmuştur. Tümü, aynı 9.5 saatlik minGRU oturumundan birebir alıntıdır.
Başlatma süresinin aslında nereye gittiğini keşfederken:
"VAY — büyük sürprizler: randint üretimi HIZLI (bir çift için 0.018-0.27ms — sorun değil). CPU'da
float()dönüşümü YAVAŞ (N=65536 için 3.5ms?! int64→float32 dönüşümü tek iş parçacıklı görünüyor). [...] N=65536 için 'toplam başlatma çifti': 31.5ms?!?! Bu, parçaların toplamının çok ötesinde"
Sayısal paranoyasının en saf damıtılmış hali, türetme sırasında:
"kapılar ~ 256 terim x 0.02x0.03 ~ her biri 6e-4, büyüklük ~1e-2: yeniden sıralama gürültüsü 16x6e-8x6e-4 ≈ 6e-10!!! [...] ÖLÇÜLEN 5e-5?!?! BU YENİDEN SIRALAMA OLAMAZ!!"
Doğru suçluyu bulmadan önce kendinden emin bir şekilde yanlış suçluyu teşhis etmek:
"OHHHH BEKLE. Sanırım anladım: bariyer."
(Bariyer değildi.)
Uygulama öncesi tavan matematik analizine binlerce kelime harcadıktan sonra kendine analizi durdurmasını söylemek:
"Pekala, YETER analiz."
(Analiz birkaç paragraf daha devam etti ve sonunda "Boşver — H_next tahsisini dinamik yap." ile sona erdi.)
Profilleyici bozuk ve komşular paylaşımlı GPU'yu döverken geç oturum dürüstlüğü:
"Dürüst olmak gerekirse — ncu ölüyken ve çekişme baskınken, kısmen kör uçuyorum. [...] sessiz bir pencere açılırsa (sahip bir süre boşta), bir kıyaslama çal."
Ve en sevdiğim: bir kıyaslama tekrar çalıştırması, şimdiye kadarki en iyi skorunu (0.1969) tutan dosyanın üzerine yanlışlıkla biraz daha kötü bir skor yazdıktan sonra, daha iyi olan sayıyı geri getirmeyi kısaca düşündü, sonra yapmadı:
"Ah — aynı dosyaya yazdı. İkisi de kayıtlarımda duruyor. final_benchmark.txt'yi düz güncel dosya olarak tutacağım — dürüst."
Doğru olan sayı olduğu için daha düşük olan sayıyı seçen bir model, bu kıyaslama için benim yazabileceğim her şeyden daha iyi bir kapanış argümanıdır.
Metodoloji, her çalıştırmanın izleri ve bu yazıdaki her çekirdek [kernelbench.com](https://kernelbench.com/) adresinde halka açıktır. Çözümler hücre bazında bağlantılıdır; ajan transkriptlerinin tamamı HuggingFace'dedir.
https://huggingface.co/datasets/Infatoshi/kernelbench-cuda-traces
https://huggingface.co/datasets/Infatoshi/kernelbench-hard-traces
https://huggingface.co/datasets/Infatoshi/kernelbench-mega-traces
