Musk impressionné ! DeepSeek et Kimi brisent les « règles tacites » des Transformers
AI features
- Views
- 880K
- Likes
- 768
- Reposts
- 153
- Comments
- 33
- Bookmarks
- 0
TL;DR
La nouvelle technologie Attention Residuals (AttnRes) de Kimi permet aux couches d'accéder dynamiquement aux sorties précédentes, résolvant ainsi les problèmes persistants de perte d'informations et surpassant l'approche mHC récemment introduite par DeepSeek.
Reading the FRANÇAIS translation
