Bu akşam aniden Musk'ın bir tweet attığını gördüm: "Kimi'den etkileyici bir çalışma."
Yaşlı Musk'ı bu kadar heyecanlandıran şeyin ne olduğunu kontrol etmeye gittim. Sonra, Kimi'nin bir makale yayınladığını öğrendim.
Musk'ın övdüğü makaleyi dikkatlice okudum. Makalenin kahramanının oldukça aşina olduğum bir şey olduğunu fark ettim: artık bağlantılar. İlk tepkim şu oldu: Bir dakika, DeepSeek geçen yılın sonunda tam da buna değinmemiş miydi?
Bu yılın Ocak ayında DeepSeek'in mHC makalesini yorumlayan bir yazı yazmıştım. Özü şuydu: DeepSeek, herkesin değiştirilmesi gerekmediğini düşündüğü bir şeyi (artık bağlantılar) buldu ve değiştirdi.
Şimdi Kimi de artık bağlantılara müdahale ediyor ve Musk bunun etkileyici olduğunu söylüyor. Makaleyi kafa karışıklığıyla okudum. Sonuç: her iki laboratuvar da aynı sorunu buldu, ancak başlangıç noktaları ve çözümlerinin derinliği tamamen farklı.
DeepSeek hangi sorunu buldu ve nasıl çözdü?
DeepSeek makalesini hızlıca hatırlayalım. Standart artık bağlantılar şöyle görünür:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
Her katmanın çıktısı = önceki katmanın çıktısı + bu katmanda öğrenilen yeni şeyler. Sabit ağırlıklar, tek tip birikim. 2015'te ResNet tarafından önerildi ve o zamandan beri tüm büyük modeller tarafından kullanılıyor.
DeepSeek'in sorun farkındalığı şuydu: Sabit ağırlıklar çok mu katı? Her katmanın önceki tüm katmanlara eşit davranması mantıklı mı?
İlk denemeleri Hyper-Connections (HC) idi: artık akışını 1 yoldan 4 yola çıkarmak ve her biri için öğrenilebilir ağırlıklar kullanmak. İyi çalıştı ama ölümcül bir kusuru vardı: eğitim kararsızlığı. Öğrenilebilir ağırlık matrislerinde herhangi bir kısıtlama yoktu ve 60 katmanlı çarpma işleminden sonra sinyal 3000 kat büyütülüyordu. Kayıp eğrisi, eğitimin ortasında aniden yükseliyordu.
Nihai mHC çözümü: ağırlık matrisini "çift stokastik matris" ile kısıtlamak (her satır ve sütunun toplamı 1'e eşit). Bu matematiksel özellik, spektral normun ≤ 1 olmasını sağlayarak sinyal patlamasını önler. Eğitim istikrarlı hale geldi ve performans, yalnızca %6,7 ek eğitim süresi maliyetiyle orijinal artık bağlantıları geride bıraktı.
DeepSeek'in çözümü: bağlantı ağırlıklarını sabitten öğrenilebilire değiştirmek ve istikrarı sağlamak için matematiksel kısıtlamalar kullanmak.
Kimi ne buldu ve neden aynı görünüyor?
Kimi'nin makalesi de artık bağlantılarla ilgili sorunları tartışarak başlıyor. Ancak okumaya devam ettikçe Kimi'nin sorun tanımının farklı bir düzeyde olduğunu gördüm.
DeepSeek sordu: Ağırlıklar daha esnek olabilir mi?
Kimi sordu: Daha temel sorun nedir? Ağırlıklar öğrenilebilir olsa bile, çözülmemiş olarak kalan ne var?
Üç cevap buldular.
Birincisi, "menüden sipariş veremezsiniz."
Her katman yalnızca bir önceki katmandan aktarılan "karışık durumu" görür; bu, önceki tüm katmanların çıktılarının birbirine karıştırılmasının sonucudur. Ancak farklı katman türlerinin farklı şeylere ihtiyacı vardır: bazıları erken dönem ham anlam bilgisine ihtiyaç duyabilir, diğerleri ise az önce hesaplanan özelliklere ihtiyaç duyabilir. Şu anda hepsi aynı karışık yemeği yiyor; "3. katmanın çıktısını istiyorum" diyemezler.
İkincisi, bilgi kurtarılamaz.
Bir katman değerli bir şey öğrendiğinde ve bu, kümülatif duruma karıştığında, her şeyle harmanlanır. Sonraki katmanlar yeni çıktılar ekledikçe, bu bilgi solar ve sonunda boğulur. Bu geri döndürülemez.
Üçüncüsü, sonraki katmanların bir etki yaratması daha zordur.
Giderek daha da gürültülü hale gelen bir odada konuştuğunuzu hayal edin. Önceki katmanlar büyük bir sinyal biriktirmiştir; sonraki katmanların duyulabilmek için önceki tüm katmanların toplamından daha yüksek sesle bağırması gerekir. Makale bunu ölçmüş: son katmanlarda, sinyal büyüklüğü başlangıcın on katından fazladır. Aynı etkiyi yaratmak için, sonraki katmanların on kat daha fazla "sese" ihtiyacı vardır.
mHC eğitim istikrarını çözdü, ancak bu üç temel sorun devam ediyor; çünkü mHC ağırlıkları öğrenilebilir olsa da, eğitimden sonra sabitlenir. Girdiden bağımsız olarak ağırlıklar aynıdır.
Kimi'nin Çözümü: Zaman boyutundaki çözümleri derinlik boyutuna taşımak
Kimi'nin çözümü güzel bir benzetmeden geliyor. Bu üç sorun (menü yok, kaybolan bilgi ve gürültülü bir odada bağırmak) tanıdık geliyor. Bunlar, 2017'den önce metin dizilerini RNN'lerle işlerken karşılaşılan sorunların aynısı.
2017'de, "Attention Is All You Need" (İhtiyacınız Olan Tek Şey Dikkat), dikkat mekanizmasını kullanarak Transformeri önerdi: her konum artık yalnızca önceki sıkıştırılmış durumu görmekle kalmıyor, tüm geçmiş konumlara geri bakabiliyor ve nereye odaklanacağına dinamik olarak karar verebiliyor.
İlginç bir şekilde, bu makale metin işlemeyi geliştirirken, katmanlar arasındaki bilgi akışına dokunmadı; artık bağlantılar, 2015'teki sabit birikim olarak kaldı.
Kimi'nin sorusu: Metni işlerken "sıkıştırılmış aktarımı" dikkat ile değiştirdik; neden katmanlar arasında hala "sıkıştırılmış aktarım" kullanıyoruz?
Bu, AttnRes'in temel içgörüsüdür: dikkat mekanizmasını katmanlar arası bağlantılara uygulamak. Bir anlamda bu, "Attention Is All You Need" makalesinin derinlik yönündeki devamıdır.
Basitçe söylemek gerekirse, her katman artık önceki tüm katmanların çıktılarına "geri bakabilir" ve mevcut içeriğe göre hangi sonuçların en alakalı olduğuna dinamik olarak karar verebilir. Bu "geriye bakma", dikkat mekanizmasının ta kendisidir; Transformerların metinle yaptığıyla aynıdır, ancak yön "önceki kelimelere geri bakmaktan" "önceki katmanlara geri bakmaya" değişir.
Parametre maliyeti ihmal edilebilir düzeydedir: katman başına yalnızca bir ek vektör. En önemlisi, "kime bakılacağı" ağırlıkları sabit değildir. Aynı model, farklı girdileri işlerken farklı katmanlara odaklanacaktır. Bu, mHC'den temel farktır: mHC ağırlıkları eğitimden sonra sabitlenir; AttnRes ağırlıkları "canlıdır."
Bana Proust'u hatırlatıyor. "Kayıp Zamanın İzinde"de Marcel, çaya batırılmış madleni tattığında, Combray'nin çocukluğu geri gelir; belirsiz bir izlenim olarak değil, tüm ara anlatı zincirlerini atlayan kesin bir algı olarak. Proust buna "istemsiz bellek" adını verir. AttnRes, her katmana mühendislik ürünü bir Proust yeteneği kazandırır: mevcut içerik tarafından tetiklenir ve ara sıkıştırma zincirinden geçmeden doğrudan herhangi bir öncül katmanın hassas çıktısına atlar.
İki Çözüm Arasındaki Temel Fark
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Değiştirilen şey | Bağlantı ağırlıklarının öğrenme yöntemi | Bilgi akışının yapısı |
Ağırlıklar: Canlı mı, Ölü mü | Eğitimden sonra sabit | Her girdi için farklı |
Görülebilen şey | Yalnızca önceki katmanın karışık durumu | Tüm önceki katmanların ham çıktıları doğrudan görülebilir |
Çözülen sorun | Katı ağırlıklar | "Menü" seçimi + gürültülü oda etkisi |
Makaledeki bir budama çalışması çok doğrudandır: model tüm önceki katmanları görebiliyor ancak ağırlıklar sabitse, neredeyse hiç iyileşme olmaz. Ancak dinamik ağırlıklarla (içeriğe göre gerçek zamanlı olarak belirlenir), performans önemli ölçüde artar.
Blok AttnRes: Mühendislik Uygulaması
İdeal olarak, her katman önceki tüm katmanlara geri bakar (Tam AttnRes). Ancak 100+ katmanlı bir model için tüm çıktıları depolamak çok fazla bellek gerektirir. Kimi'nin mühendislik çözümü Blok AttnRes'tir: katmanları yaklaşık 8 "bloğa" bölmek. Blokların içinde standart artık bağlantılar kullanılır; bloklar arasında dikkat kullanılır. Bellek kullanımı önemli ölçüde azalırken, kazanımların çoğu korunur. Eğitim ek yükü %4'ün altındadır ve çıkarım gecikmesi %2'den az artar.
Sonuçlar nasıl?
Kimi'nin 48 milyar parametreli modelinde test edilmiştir: Aynı hesaplama gücü kullanıldığında, AttnRes, standart yöntemlerin %25 daha fazla hesaplama gücüyle ulaşabileceği performansa ulaştı.
Alt görev iyileştirmeleri, özellikle akıl yürütmede önemlidir:
- GPQA-Diamond: 36,9 → 44,4 (+7,5 puan)
- Matematik: 53,5 → 57,1
- Kod: 59,1 → 62,2
- C-Eval: 79,6 → 82,5
Model ne öğrendi?
Kimi, "geriye bakma" modellerini görselleştirdi:
- Çoğunlukla komşularına bakar. Standart artık bağlantılar tamamen yanlış değildi.
- Orijinal girdi asla unutulmaz. En derin katmanlarda bile, ilk girdiye olan dikkat sıfır değildir.
- Model "kısa yollar" icat etti. Bazı katmanlar, çok erken katmanlara odaklanmak için ortadakileri atlar.
Büyük Resim
Çoğu ekip daha iyi veriye, daha uzun bağlama veya daha büyük MoE'ye odaklanır. Bunlar, "katman bağlantılarının sabit olduğu" varsayımı altında yapılan optimizasyonlardır. Temel yapıya dönerek bir atılım yapmak, teknik muhakeme ve mühendislik gücü gerektirir.
Artık bağlantılar on yıldır varsayılan olarak kullanılıyor. Üç ay içinde, iki Çin laboratuvarı burada temel atılımlar buldu. Musk'ın "Etkileyici çalışma" sözü bir nezaketten daha fazlasıdır; derin öğrenmenin temel paradigmasının değiştiğinin bir işaretidir.
Referanslar:
- Attention Residuals Raporu: https://github.com/MoonshotAI/Attention-Residuals
- mHC Makalesi: https://arxiv.org/abs/2512.24880
- Kimi Linear Raporu: https://arxiv.org/abs/2510.26692
Kimi bu makaleyi basit terimlerle açıklıyor: Büyük modeller 100 katlı bir bina gibidir. On yıl boyunca işçiler tek bir karışık dosyayı kat kat yukarı taşıdı. Kimi her kata bir telefon yerleştirdi. Şimdi, 100. kattaki işçi, 97 kez değiştirilmiş bir dosyayı kurcalamak yerine, verileri kontrol etmek için doğrudan 3. katı arayabilir. Bu basit değişiklik, modele %25'lik ücretsiz bir performans artışı sağladı.
