Astra, yapay zekanın ne kadar ilerlediğini gösteriyor. Peki onu daha da ileriye götüren ne?
Günümüzün en yetenekli modellerinin sürekli ilerlemesi, eğitim öncesinde daha akıllı kararlara, eğitim sırasında daha iyi stratejilere ve her ikisinin de altında yatan daha verimli altyapıya bağlıdır; bu çalışmalar hâlâ büyük ölçüde insan araştırmacılar tarafından yürütülmektedir. Yapay zeka bu iyileştirmeleri özyinelemeli olarak takip edebildiğinde, ilerlemenin hızı temelden değişir: doğrulanan her bir ilerleme bir sonraki döngüyü güçlendirir.
Bu nedenle, yapay zeka eğitim yığınları genelinde iyileştirmeleri keşfetmek ve doğrulamak için Apex Intelligence'ın otomatik yapay zeka araştırma sistemini kurduk.
İlk değerlendirmesinde sistemimiz, SLDBench SimpleTES, GPUMode TriMul (H100) ve MLS-Bench Fused Causal Attention Kernel üzerinde üç yeni resmi SOTA elde etti ve TriMul sonucu, Stanford, NVIDIA ve diğer kurumlardan oluşan bir ekibin TTT-Discover sonucunu geride bıraktı. NanoChat Autoresearch'teki B200 sonucu, hem Recursive SuperIntelligence hem de Tencent Hunyuan'ın Hyra'sının yayınlanmış sonuçlarından daha iyi performans göstererek, sabit bütçeli LLM eğitimi için genel SOTA'ya yaklaştı.
Bu, Apex'in otomatik özyinelemeli araştırma paradigmasının, model ölçeklendirme tahmini, sabit bütçeli dil modeli eğitimi ve GPU çekirdek performansı alanlarında, en üst düzey insan mühendisliği ve son teknoloji otomatik sistemler seviyesinde (ve bazı durumlarda onların ötesinde) performans gösterdiğini kanıtlıyor.
Her bir kıyaslama içinde araştırma döngüsü otonom olarak çalışır: sistem neyi iyileştireceğini belirler, fikirlerini test eder, sonuçları doğrular ve kanıtlardan öğrenir. Bu sınır seviyesindeki sonuçlar, takip eden döngüler için daha güçlü başlangıç noktaları oluşturur; iyileştirme bu şekilde özyinelemeli hale gelir.
Değerlendirme I: SLDBench (SimpleTES 4-Görev Protokolü)
Büyük bir eğitim çalışması başlamadan önce, araştırmacılar doğrudan test etmeyi göze alamayacakları ölçeklerde performansı tahmin etmelidir. Ölçeklendirme yasaları, model boyutu, veri bileşimi, öğrenme oranı, yığın boyutu ve hesaplama hakkındaki kararlara rehberlik eder; küçük deneylere uyan ancak zayıf bir şekilde tahmin yürüten bir yasa, tüm bir eğitim bütçesini yanlış yönlendirebilir.
SLDBench bu belirsizliği, yayınlanmış 5.000'den fazla LLM eğitim deneyinden oluşturulmuş ölçülebilir bir keşif görevine dönüştürür. Her sistem, ayrılmış ölçeklendirme rejimlerine genelleme yapan sembolik bir yasa ve bir uydurma prosedürü üretmelidir. SimpleTES tarafından kullanılan dört görevli değerlendirmeyi takiben, yapay zeka sistemimiz paralel ölçeklendirme, alan karışımı ölçeklendirme, öğrenme oranı/yığın boyutu birlikte ölçeklendirme ve U-şekilli hesaplama ölçeklendirme üzerinde test edilir.
Sabitlenmiş genel değerlendiriciler altında, sistemimiz her görevde önceki genel referansı iyileştirerek dört görev ortalamasını 0,8613'ten 0,8846'ya (+%2,71) yükseltir. En büyük kazanç, puanın 0,4975'ten 0,5761'e (+%15,80) yükseldiği U-şekilli ölçeklendirmede elde edilir. Öğrenme oranı/yığın boyutu birlikte ölçeklendirme 0,9506'dan 0,9650'ye (+%1,51) yükselirken, paralel ve alan karışımı ölçeklendirmede daha fazla kazanç elde edilir. Bu puanlar, ayrılmış rejimlerdeki performansı ölçer ve bunları uydurmak için kullanılan deneylerin ötesinde doğru kalan yasaları ödüllendirir.
Şekil 1: Yapay zeka araştırma sistemimiz, seçilen dört SLDBench görevinin tamamında önceki genel referansı iyileştirerek ortalama ayrılmış puanı 0,8613'ten 0,8846'ya yükseltiyor. En büyük kazanç U-şekilli ölçeklendirmede elde ediliyor. Daha yüksek daha iyidir.
En net yöntem seviyesindeki ilerleme, U-şekilli hesaplama ölçeklendirmede görülür. Yapay zeka sistemimiz eğriyi, kalıcı bir ölçeklendirme eğilimi ile sınırlı bir hesaplama aralığında ortaya çıkan ve daha sonra azalan yerelleştirilmiş bir rejim etkisinin toplamı olarak temsil eder. Bu yapı, gözlemlenen verilerdeki geçici bir tersine dönüşün süresiz olarak yansıtılmasını önler.
Değerlendirici eğrinin son aşamasını gizlediğinde ayrım belirleyici hale gelir. Esnek denklemler, gözlemlenen bükülmeyi yeniden üretebilir ancak yanlış yönde tahmin yürütebilir; geçici bileşenin başlangıcını, süresini ve azalmasını açıkça modellemek, dönüm noktası sonrası daha doğru tahminler üretir.
Sonuç, ayrıştırmanın yorumlanabilir ve test edilebilir kalırken ayrılmış doğruluğu artırması nedeniyle teknik olarak anlamlıdır. Bu, ölçeklendirme yasası keşfi için yeniden kullanılabilir bir hipotez önerir: görünürdeki bir tersine dönüş, daha uzun vadeli bir ölçeklendirme eğiliminin üzerine yerleştirilmiş geçici bir rejimi yansıtabilir.
Değerlendirme II: NanoChat Autoresearch
Sabit bütçeli eğitim, her fikrin yerini hak etmesini zorunlu kılar: iyileştirmeler aynı zaman ve donanımı daha etkili kullanmaktan gelmelidir. Bu, NanoChat Autoresearch'i bir yapay zeka sisteminin hızlı deneyleri daha güçlü bir model eğitim uygulamasına dönüştürüp dönüştüremeyeceğinin doğrudan bir testi haline getirir.
Andrej Karpathy tarafından Mart 2026'da yayınlanan NanoChat Autoresearch, bir ajana bir GPU ve model mimarisini, optimize ediciyi, hiperparametreleri ve eğitim kodunu değiştirme özgürlüğü verir. Her deney aynı beş dakikalık bütçeyi alır ve doğrulama bitleri/bayt (val_bpb; daha düşük daha iyidir) ile puanlanır. Düzenek, insan katılımcıların ve yapay zeka ajanlarının deneyleri paylaştığı ve en güçlü genel çözümlere karşı rekabet ettiği autoresearch@home'a genişlemiştir.
Sabit 300 saniyelik tek B200 ayarı altında, yapay zeka sistemimiz 0,892426 val_bpb değerine ulaşarak genel sınıra yaklaşır. Bu, Recursive SuperIntelligence'ın Haziran 2026'daki en iyi yayınlanmış tek çalışması olan 0,903891 ve 10-tohum ortalaması 0,9108745 ile Tencent Hunyuan'ın Temmuz 2026'daki Hyra sonucu 0,901543'ü geride bırakır. Eylül 2026 itibarıyla genel liderlik tablosundaki lider AutoTrust AI'nın ScienceGuru'suna (0,889522) yaklaşır.
Şekil 2: Sabit 300 saniyelik tek B200 eğitim bütçesi altında doğrulama BPB karşılaştırması. Daha düşük daha iyidir.
Belirleyici iyileştirme, n-gram seyrekliğinin eğitim hesaplaması boyunca taşınmasından gelir. ScienceGuru uygulaması, büyük n-gram belleklerinin değerini gösterir, ancak her yığın satırlarının yalnızca küçük bir kısmına erişir. Yapay zeka sistemimiz, eğitim yolunda kalan yoğun gradyan maliyetlerini belirler ve bunları, yalnızca geçerli yığın tarafından kullanılan satırları güncelleyen kompakt bir geriye doğru geçişle değiştirir.
Bu değişiklik, SOTA'ya yakın kaliteyi korurken en yüksek eğitim belleğini yaklaşık 177,7 GB'den 140,6 GB'a (%20,9 azalma) düşürür. Aynı 300 saniyelik bütçe içinde, yapay zeka sistemimiz ScienceGuru uygulamasından yaklaşık %4,5 daha az token işlerken 0,892426 val_bpb değerine ulaşır ve SOTA'ya yakın kalitenin daha yüksek token verimine bağlı olmadığını gösterir.
Yapay zeka sistemimiz aynı prensibi tüm bellek erişim yoluna genişletir. İki n-gram tablo aramasını, birleştirmeyi, aktif satır keşfini ve satır kaydını tek bir Triton çekirdeğinde birleştirir. Geriye doğru geçiş, elde edilen satırdan yuvaya eşlemeyi doğrudan yeniden kullanarak yinelenen indeksleme çalışmasını ortadan kaldırır ve aramadan gradyan güncellemesine kadar seyrekliği korur.
Bu güçlü bir sistem sonucudur çünkü seyrek bir model artık yoğun sistem maliyetleri ödemez. Aynı prensip, her yığının yalnızca küçük bir satır alt kümesine dokunduğu büyük yerleştirme veya bellek tabloları etrafında oluşturulmuş diğer iş yüklerine de aktarılabilir.
Değerlendirme III: GPUMode TriMul H100
Bir GPU çekirdeği yoğun bir şekilde optimize edildikten sonra, kalan gecikme nadiren en belirgin işlemde bulunur. Darboğazlar füzyon sınırları, tensör düzenleri ve bellek erişim yolları arasında hareket eder ve daha fazla ilerlemeyi, çekirdek oluşturma kadar darboğaz keşfinin de bir testi haline getirir.
GPUMode TriMul görevi, AlphaFold sınıfı protein yapısı modellerinde kullanılan giden Üçgen Çarpımsal Güncellemeyi hedefler. Katılımcılar, bir NVIDIA H100'de yedi sabit giriş şekli boyunca geometrik-ortalama gecikmeyi en aza indiren sayısal olarak doğru bir uygulama üretmelidir. Görev, Ocak 2026'da Stanford, NVIDIA, Astera Institute, UC San Diego ve Together AI'den araştırmacılar tarafından yayınlanan TTT-Discover dahil olmak üzere güçlü insan ve otomatik çözümleri kendine çekmiştir.
Yedi H100 şekli boyunca, yapay zeka sistemimiz 1.036,1 μs geometrik-ortalama gecikmeye ulaşır. Aynı makinede yapılan eşleştirilmiş değerlendirmemizde bu, en güçlü insan tasarımı karşılaştırma olan stashuk-olek'ten (1.064,9 μs) %2,71 daha iyidir. Sonuç ayrıca, ayrı ayrı rapor edilen shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) ve TTT-Discover (1.161 μs) uygulamalarından sayısal olarak daha düşükken, K-Search'in ayrı ayrı rapor edilen 1.030 μs değerinin %0,59 yakınına gelir.
Şekil 3: Yedi GPUMode TriMul H100 iş yükü boyunca geometrik-ortalama gecikme. Yapay zeka sistemimiz 1.036,1 μs'ye ulaşıyor. Daha düşük daha iyidir.
Genel değerler ilgili raporlarından veya değerlendirme kayıtlarından alınmıştır ve aynı makinede eşleştirilmiş ölçümler değildir. 1.036,1 μs sonucumuz, resmi değerlendirici kullanılarak yerel olarak ölçülmüştür.
Mevcut yüksek performanslı TriMul uygulamaları zaten füzyon, özelleştirilmiş matris çarpımı, şekil özelleştirmesi ve düzene duyarlı veri hareketi kullanır. Sistemimiz başlangıçta üretici tarafı füzyonunu daha da ileriye iter, ardından kayıt basıncı arttıkça azalan ve şekle bağlı getirileri tespit eder. Sonuç olarak aramayı, üreticinin çıktısının nasıl tüketildiğine kaydırır.
Birkaç iş yükü şekli için, yapay zeka sistemimiz BMM→LayerNorm sınırını kalan gecikme kaynağı olarak tanımlar. Ortaya çıkan uygulama, BMM çıktılarını bitişik fiziksel boyut boyunca yükler ve LayerNorm'dan önce gerekli devriği kayıtlarda gerçekleştirir.
Sonuç, yapay zeka sistemimizin arama hipotezinin kendisini değiştirmesi nedeniyle teknik olarak önemlidir: üretici tarafı optimizasyonunun ne zaman doygunluğa ulaştığını tanır, darboğazı BMM→LayerNorm sınırı boyunca yeniden konumlandırır ve optimizasyon hedefini buna göre kaydırır. Şekle bağlı planları ayrıca, sistemin darboğazlar iş yükleri arasında hareket ettikçe uyum sağlayabileceğini gösterir; bu, sabit bir çekirdek tasarımını ayarlamaktan daha geniş bir değere sahip bir yetenektir.
Değerlendirme IV: MLS-Bench — Fused Causal Attention Kernel (H100)
Dikkat, Transformer eğitimi ve çıkarımında önemli bir hesaplama ve bellek darboğazıdır, bu nedenle verimliliği doğrudan model hızını ve maliyetini etkiler. Modern birleştirilmiş dikkat çekirdekleri zaten oldukça optimize edilmiştir ve çok az bariz alan bırakır; daha fazla kazanç, sayısal algoritmanın yanı sıra zamanlama ve bellek hareketini de yeniden gözden geçirmeyi gerektirir.
MLS-Bench'in Fused Causal Attention görevi, yapay zeka sistemlerinden bir NVIDIA H100'de OpenAI Triton birleştirilmiş öz-dikkat ileri geçişi uygulamasını, üç nedensel dikkat yapılandırması boyunca verimi en üst düzeye çıkarmasını ve maksimum mutlak hatayı 1e-2'nin altında tutmasını ister. Kıyaslama, Anthropic, OpenAI ve Google DeepMind'dan güçlü temel çizgiler sağlayan Claude Opus 4.6, GPT-5.4 ve Gemini 3.1 Pro gibi sınır modellerinin sonuçlarını içerir.
Üç birleştirilmiş dikkat yapılandırması boyunca sistemimiz, 64, 128 ve 256 kafa boyutlarında sırasıyla 430,7, 468,4 ve 451,7 TFLOP/s değerlerine ulaşır. Bu sonuçlar, her üç yapılandırmada da yeni bir en iyi sonuç oluşturarak önceki lider sonuçları sırasıyla %27,18, %15,63 ve %17,11 oranında iyileştirir.
Şekil 4: Üç MLS-Bench birleştirilmiş nedensel dikkat iş yükünde verim karşılaştırması.
En büyük iyileştirme, çevrimiçi softmax yolunun basitleştirilmesinden geldi. Standart FlashAttention tarzı uygulamalar, sayısal kararlılık için çalışan bir maksimum değer tutar ve birikmiş softmax istatistiklerini tekrar tekrar yeniden ölçeklendirir. Otomatik araştırma sistemimiz, MLS-Bench iş yüklerinde, ölçeklendirilmiş dikkat logitlerinin yeterince dar bir aralıkta kaldığını ve bu tekrarlanan yeniden ölçeklendirmenin, kıyaslamanın sayısal toleransını karşılarken kaldırılabileceğini buldu.
Ortaya çıkan yeniden ölçeklendirmesiz softmax, üstelleri ve ağırlıklı değerleri doğrudan biriktirir ve sonunda bir kez normalleştirir. Bu, 64, 128 ve 256 kafa boyutları için verimi sırasıyla %21,0, %8,5 ve %19,3 oranında artırdı.
Ek kazançlar, LPT zamanlaması ve TMA dahil olmak üzere şekle özgü zamanlama ve bellek hareketinin optimize edilmesinden geldi. Yeniden ölçeklendirmesiz yol en ilginç sonuçtu çünkü sayısal algoritmanın içindeki bir varsayımı değiştirdi: daha geniş bir çalışma aralığı için tasarlanmış bir kararlılık mekanizması, değerlendirilen iş yükü için gereksizdi.
Daha geniş anlamda, bu sonuç, sistem sınırına yakın yerlerde bile, tipik olarak sabit kabul edilen varsayımları yeniden gözden geçirerek daha fazla kazanç elde edilebileceğine işaret eden daha geniş bir fırsata işaret ediyor. Bu durumda, Apex'in otomatik araştırma sistemi, mevcut bir çekirdeğin parametrelerini ve zamanlamalarını ayarlamanın ötesine geçti: kıyaslamanın çalışma rejimi altında güvenle atlanabilecek sayısal bir güvenlik önlemi belirledi ve bu gözlemi daha hızlı bir yürütme yoluna dönüştürdü. Bizi ilgilendiren türden bir davranış da budur: aramayı yalnızca parametreleri ve zamanlamaları optimize etmek için değil, aynı zamanda yerleşik uygulamaların yapısını sorgulamak için kullanmak.
Kıyaslamaların Ötesinde
Bir kıyaslama bir sonucu yakalar. Özyinelemeli bir yapay zeka sistemi onu ileriye taşır. Dört kıyaslama boyunca, yapay zeka araştırma sistemimiz doğrulanmış sınır seviyesinde iyileştirmeler üretti. Süreci dört aşamalı bir döngüyü takip eder: yüksek değerli bir bilinmeyeni keşfet, aday çözümleri doğrula, kanıtlardan öğren ve bir sonraki döngüyü iyileştir. Bir sonraki adım, göreve özgü ilerlemeleri sonraki döngüleri güçlendiren yeniden kullanılabilir bilgiye dönüştüren aktarımdır.
Araştırma bir sonraki S-eğrisini doğurur. Bilimsel içgörü, yeni araştırma ve mühendislik sistemleri yeni yollar açar; bunlar daha sonra uygulama ve ölçek tarafından gerçek dünya endüstrilerine dönüştürülür. Bir S-eğrisi platoya ulaştığında, daha fazla ilerleme bir sonrakini açmaya bağlıdır. Gelecek teknolojik devrimin, yapay zekanın doğal bir araştırma motoru olarak hareket etmesiyle tanımlanacağına inanıyoruz.
Yapay zeka yardımcı pilotluktan iş arkadaşlığına geçiyor. İnsan muhakemesi ve hayal gücü neyin önemli olduğuna rehberlik eder; yapay zeka neyin keşfedilebileceğini genişletir. Birlikte, yeni yönler keşfedebilir, yeni sorulara ilham verebilir ve daha yetenekli modeller oluşturabilirler; makine keşfi ile insan hayal gücü arasında pekiştirici bir döngü yaratırlar. Astra, yapay zekanın ne kadar ilerlediğini gösteriyor. Peki onu daha da ileriye götüren ne? Sırada ne olduğunu keşfetmeye yardımcı olma yeteneği.
Bu sonuçları incelemeniz, tekrarlamanız ve genişletmeniz için yayınlıyoruz. Kod, deney kayıtları, keşfedilen uygulamalar ve değerlendirme materyalleri artık GitHub ve web sitemizde mevcuttur.
