今夜、突然マスクがツイートしているのを見ました。「Kimi の仕事、印象的だ」と。
何がマスクをそんなに興奮させたのか調べてみました。すると、Kimi が論文を公開していたことがわかりました。
マスクが称賛した論文を注意深く読みました。この論文の主役は、私がよく知っているもの——残差接続——でした。最初の反応は「ちょっと待て、これは去年末に DeepSeek が触れたばかりの話じゃないか？」というものでした。
今年の 1 月、私は DeepSeek の mHC 論文を解説する記事を書きました。その核心は「誰も変える必要がないと思っていたもの——残差接続——を DeepSeek が見つけ出し、変更した」ということでした。
今度は Kimi も残差接続にメスを入れ、マスクは「印象的」と言っています。困惑しながら論文を読みました。結論：両方の研究室が同じ問題を見つけましたが、その出発点と解決策の深さはまったく異なります。
DeepSeek はどのような問題を見つけ、どのように解決したのか？
DeepSeek の論文を手早く復習しましょう。標準的な残差接続は次のようになります：
h_l = h_{l-1} + f_{l-1}(h_{l-1})
各レイヤーの出力 = 前のレイヤーの出力 + このレイヤーで学習された新しいもの。固定された重み、一様な蓄積。2015 年に ResNet によって提案され、それ以来すべての大規模モデルで使用されています。
DeepSeek の問題意識は「固定された重みは硬すぎるのではないか？すべてのレイヤーがすべての前のレイヤーを等しく扱うのは合理的か？」というものでした。
彼らの最初の試みは Hyper-Connections（HC）でした：残差流を 1 から 4 経路に拡張し、それぞれに学習可能な重みを付けました。うまく機能しましたが、致命的な欠点がありました：学習の不安定性です。学習可能な重み行列に制約がなく、60 層の乗算の後、信号は 3000 倍に増幅されました。損失曲線は学習途中で突然スパイクを起こしました。
最終的な mHC ソリューション：重み行列を「二重確率行列」に制約します——各行と各列の合計が 1 になる行列です。この数学的特性によりスペクトルノルムが ≤ 1 であることが保証され、信号の爆発を防ぎます。学習は安定し、パフォーマンスは元の残差接続を上回り、追加の学習時間はわずか 6.7% でした。
DeepSeek の解決策：接続重みを固定から学習可能に変更し、数学的制約を使用して安定性を確保します。
Kimi は何を見つけ、なぜ同じに見えるのか？
Kimi の論文も残差接続の問題を論じることから始まります。しかし読み進めると、Kimi の問題定義は別次元でした。
DeepSeek は問いました：重みをより柔軟にできないか？
Kimi は問いました：より根本的な問題は何か？たとえ重みが学習可能でも、何が未解決のままなのか？
彼らは 3 つの答えを見つけました。
第一に、「メニューから注文」できない。
各レイヤーは、前のレイヤーから渡された「混合状態」——すべての前のレイヤーの出力がかき混ぜられた結果——しか見ることができません。しかし、異なるタイプのレイヤーは異なるものを必要とします：あるものは初期の生の意味論を必要とし、他のものは計算されたばかりの特徴を必要とするかもしれません。現在、それらはすべて同じ混合された食事を食べており、「レイヤー 3 の出力が欲しい」とは言えません。
第二に、情報を回復できない。
あるレイヤーが価値あるものを学習し、それが累積状態に混ざり込むと、他のすべてと混ざり合います。後続のレイヤーが新しい出力を積み重ねるにつれて、その情報は薄れ、最終的にかき消されます。不可逆的です。
第三に、後のレイヤーほど影響を与えるのが難しくなる。
どんどん騒がしくなる部屋で話すことを想像してください。前のレイヤーは大きな信号を蓄積しており、後のレイヤーはそれ以前のすべてのレイヤーを合わせたよりも大きな声で叫ばなければ聞こえません。論文はこれを計測しました：最終層では、信号の大きさは開始時の 10 倍以上です。同じ影響を与えるために、後のレイヤーは 10 倍の「音量」を必要とします。
mHC は学習の安定性を解決しましたが、これらの 3 つの根本的な問題は残っています——なぜなら mHC の重みは学習可能ではあるが、学習後は固定されるからです。入力に関係なく、重みは同じです。
Kimi の解決策：時間次元の解決策を深さ次元に移す
Kimi の解決策は美しい類推から来ています。これらの 3 つの問題——メニューがない、情報の喪失、騒がしい部屋での叫び——は見覚えがあります。それらはまさに 2017 年以前に RNN でテキストシーケンスを処理する際に遭遇した問題です。
2017 年、「Attention Is All You Need」が Transformer を提案し、アテンション機構を使用してこれを解決しました：各位置はもはや前の圧縮状態だけを見るのではなく、すべての過去の位置を振り返り、どこに焦点を当てるかを動的に決定できるようになりました。
興味深いことに、その論文がテキスト処理をアップグレードした一方で、レイヤー間の情報の流れには触れませんでした——残差接続は 2015 年から固定された蓄積のままでした。
Kimi の問い：テキスト処理では「圧縮転送」をアテンションに置き換えたのに、なぜレイヤー間ではまだ「圧縮転送」を使っているのか？
これが AttnRes の核心的な洞察です：アテンション機構をレイヤー間の接続に適用する。ある意味で、これは深さ方向における「Attention Is All You Need」の続編です。
簡単に言えば、各レイヤーはすべての前のレイヤーの出力を「振り返り」、現在のコンテンツに基づいてどの結果が最も関連性があるかを動的に決定できるようになりました。この「振り返り」がアテンション機構です——Transformer がテキストで行うことと同じですが、方向が「前の単語を振り返る」から「前のレイヤーを振り返る」に変わります。
パラメータのコストは無視できるほどです：レイヤーごとに 1 つの追加ベクトルのみ。最も重要なのは、「誰を見るか」の重みが固定されていないことです。同じモデルでも、異なる入力を処理する際に、異なるレイヤーに焦点を当てます。これが mHC との本質的な違いです：mHC の重みは学習後に固定されますが、AttnRes の重みは「生きている」のです。
これはプルーストを思い出させます。『失われた時を求めて』で、マルセルが紅茶に浸したマドレーヌを味わうとき、コンブレーの子供時代が蘇ります——漠然とした印象としてではなく、すべての中間の物語の連鎖を迂回した正確な知覚として。プルーストはこれを「無意識の記憶」と呼びました。AttnRes は各レイヤーに、工学的なプルースト的能力を与えます：現在の内容によって引き起こされ、中間の圧縮連鎖を通らずに、任意の先行レイヤーの正確な出力に直接ジャンプします。
二つの解決策の本質的な違い
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
変更されたもの | 接続重みの学習方法 | 情報の流れの構造 |
重み：生きているか死んでいるか | 学習後に固定 | 入力ごとに異なる |
見えるもの | 前のレイヤーの混合状態のみ | すべての前のレイヤーの生の出力を直接見ることができる |
解決されたもの | 硬直した重み | 「メニュー」選択 + 騒がしい部屋効果 |
論文のアブレーション研究は非常に直接的です：モデルがすべての前のレイヤーを見ることができても重みが固定されている場合、ほとんど改善はありません。しかし動的な重み（内容に基づいてリアルタイムに決定される）では、パフォーマンスが大幅に向上します。
Block AttnRes：工学的実装
理想的には、すべてのレイヤーがすべての前のレイヤーを振り返ります（Full AttnRes）。しかし、100 層以上のモデルでは、すべての出力を保存するにはメモリが大きすぎます。Kimi の工学的解決策は Block AttnRes です：レイヤーを約 8 つの「ブロック」に分割します。ブロック内では標準的な残差が使用され、ブロック間ではアテンションが使用されます。メモリ使用量は大幅に削減され、ほとんどの利点を保持します。学習のオーバーヘッドは 4% 未満で、推論レイテンシの増加は 2% 未満です。
## 結果はどうか？
Kimi の 48B パラメータモデルでテスト：同じ計算量で、AttnRes は標準的な方法が 25% 多くの計算量を必要とするパフォーマンスを達成しました。
下流タスクの改善は顕著で、特に推論において：
- GPQA-Diamond: 36.9 → 44.4 (+7.5 points)
- Math: 53.5 → 57.1
- Code: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
モデルは何を学習したのか？
Kimi は「振り返り」のパターンを可視化しました：
- 主に隣接を見る。 標準的な残差も完全には間違っていなかった。
- 元の入力は決して忘れられない。 最も深い層でも、初期入力へのアテンションはゼロではない。
- モデルは「ショートカット」を発明した。 特定のレイヤーが中間を飛ばして非常に初期のレイヤーに焦点を当てる。
全体像
ほとんどのチームは、より良いデータ、より長いコンテキスト、またはより大規模な MoE に焦点を当てています。これらは「レイヤー接続は固定されている」という仮定の下での最適化です。基礎構造に立ち返ってブレークスルーを達成するには、技術的判断力と工学的な強みが必要です。
残差接続は 10 年間デフォルトでした。わずか 3 ヶ月の間に、二つの中国の研究室がここで根本的なブレークスルーを見つけました。マスクの「印象的な仕事」は単なる礼儀以上のものです；それは深層学習の基盤パラダイムが変化していることを示しています。
参考文献：
- アテンション残差レポート：https://github.com/MoonshotAI/Attention-Residuals
- mHC 論文：https://arxiv.org/abs/2512.24880
- Kimi Linear レポート：https://arxiv.org/abs/2510.26692
Kimi はこの論文を簡単に説明しています：大規模モデルは 100 階建てのビルのようなものです。10 年間、作業員は単一の混合ファイルを階ごとに渡していました。Kimi は各階に電話を設置しました。今では、100 階の作業員が 3 階に直接電話してデータを確認でき、97 回も変更されたファイルを掘り返す必要はありません。この単純な変更により、モデルは無料で 25% のパフォーマンス向上を得ました。
