मस्क हैरान! DeepSeek और Kimi ने ट्रांसफॉर्मर्स के "अनकहे नियमों" को तोड़ा
AI features
- Views
- 880K
- Likes
- 768
- Reposts
- 153
- Comments
- 33
- Bookmarks
- 0
TL;DR
Kimi का नया अटेंशन रेजिडुअल्स (AttnRes) लेयर्स को गतिशील रूप से पिछले आउटपुट तक पहुँचने की अनुमति देता है, जिससे सूचना हानि (information loss) की पुरानी समस्या हल हो गई है और यह DeepSeek के हालिया mHC दृष्टिकोण से बेहतर प्रदर्शन कर रहा है।
Reading the हिन्दी translation
