馬斯克驚嘆！DeepSeek 與 Kimi 打破 Transformer 的「潛規則」

TL;DR

Kimi 全新的 Attention Residuals (AttnRes) 技術允許層級動態存取先前的輸出，解決了長期存在的資訊遺失問題，並在效能上超越了 DeepSeek 近期提出的 mHC 方法。