马斯克惊叹！DeepSeek 与 Kimi 打破了 Transformer 的“潜规则”

TL;DR

Kimi 推出的全新 Attention Residuals (AttnRes) 技术允许层级动态访问先前的输出，解决了长期存在的信息丢失问题，性能表现超越了 DeepSeek 近期提出的 mHC 方法。