Ce soir, j'ai soudainement vu Musk poster un tweet : « Travail impressionnant de Kimi. »
Je suis allé voir ce qui avait tant excité le vieux Musk. Et j'ai découvert que Kimi avait publié un article.
J'ai lu attentivement l'article que Musk avait salué. J'ai réalisé que le sujet principal de cet article m'était familier — les connexions résiduelles. Ma première réaction a été : Attends, n'est-ce pas ce sur quoi DeepSeek vient de travailler à la fin de l'année dernière ?
En janvier de cette année, j'ai écrit un article pour interpréter l'article mHC de DeepSeek. Le cœur était : DeepSeek a trouvé quelque chose que tout le monde pensait immuable — les connexions résiduelles — et l'a modifié.
Maintenant, Kimi s'attaque aussi aux connexions résiduelles, et Musk dit que c'est impressionnant. J'ai lu l'article avec confusion. La conclusion : les deux laboratoires ont identifié le même problème, mais leurs points de départ et la profondeur de leurs solutions sont complètement différents.
Quel problème DeepSeek a-t-il identifié et comment l'a-t-il résolu ?
Revoyons rapidement l'article de DeepSeek. Les connexions résiduelles standard ressemblent à ceci :
h_l = h_{l-1} + f_{l-1}(h_{l-1})
La sortie de chaque couche = sortie de la couche précédente + nouvelles choses apprises dans cette couche. Poids fixes, accumulation uniforme. Proposé par ResNet en 2015, utilisé par tous les grands modèles depuis.
La prise de conscience du problème par DeepSeek était : Les poids fixes sont-ils trop rigides ? Est-il raisonnable que chaque couche traite toutes les couches précédentes de manière égale ?
Leur première tentative a été les Hyper-Connections (HC) : élargir le flux résiduel de 1 à 4 chemins, avec des poids apprenables pour chacun. Cela fonctionnait bien mais avait un défaut fatal : l'instabilité de l'entraînement. Les matrices de poids apprenables n'avaient pas de contraintes, et après 60 couches de multiplication, le signal était amplifié 3000 fois. La courbe de perte grimpait soudainement au milieu de l'entraînement.
La solution finale mHC : contraindre la matrice de poids à une "matrice doublement stochastique" — où la somme de chaque ligne et de chaque colonne est égale à 1. Cette propriété mathématique garantit que la norme spectrale est ≤ 1, empêchant l'explosion du signal. L'entraînement est devenu stable, et les performances ont dépassé les connexions résiduelles d'origine pour un coût de seulement 6,7 % de temps d'entraînement supplémentaire.
La solution de DeepSeek : modifier les poids de connexion de fixes à apprenables, en utilisant des contraintes mathématiques pour assurer la stabilité.
Qu'est-ce que Kimi a trouvé, et pourquoi cela semble-t-il identique ?
L'article de Kimi commence aussi par discuter des problèmes des connexions résiduelles. Mais en poursuivant ma lecture, la définition du problème par Kimi est d'un autre niveau.
DeepSeek demandait : Les poids peuvent-ils être plus flexibles ?
Kimi demandait : Quel est le problème le plus fondamental ? Même si les poids sont apprenables, qu'est-ce qui reste non résolu ?
Ils ont trouvé trois réponses.
D'abord, on ne peut pas "commander à la carte".
Chaque couche ne voit que "l'état mixte" transmis par la couche précédente — le résultat de toutes les sorties des couches précédentes mélangées. Mais différents types de couches ont besoin de choses différentes : certaines pourraient avoir besoin de la sémantique brute précoce, d'autres pourraient avoir besoin des caractéristiques juste calculées. Actuellement, elles mangent toutes le même mélange ; elles ne peuvent pas dire "je veux la sortie de la couche 3."
Deuxièmement, l'information ne peut pas être récupérée.
Une fois qu'une couche apprend quelque chose de précieux et que cela se mélange à l'état cumulatif, cela se fond avec tout le reste. Au fur et à mesure que les couches suivantes empilent de nouvelles sorties, cette information s'estompe et finit par être noyée. C'est irréversible.
Troisièmement, les couches ultérieures ont plus de mal à avoir un impact.
Imaginez parler dans une pièce qui devient de plus en plus bruyante. Les couches précédentes ont accumulé un grand signal ; les couches ultérieures doivent crier plus fort que tous leurs prédécesseurs réunis pour être entendues. L'article a mesuré cela : dans les dernières couches, l'amplitude du signal est plus de dix fois supérieure à celle du début. Pour avoir le même impact, les couches ultérieures ont besoin de dix fois le "volume."
mHC a résolu la stabilité de l'entraînement, mais ces trois problèmes fondamentaux persistent — car les poids mHC, bien qu'apprenables, sont fixes après l'entraînement. Quel que soit l'entrée, les poids sont les mêmes.
La Solution de Kimi : Déplacer les solutions de la dimension temporelle vers la dimension de la profondeur
La solution de Kimi provient d'une belle analogie. Ces trois problèmes — absence de menu, perte d'information, et cri dans une pièce bruyante — semblent familiers. Ce sont exactement les problèmes rencontrés avant 2017 lors du traitement de séquences textuelles avec des RNN.
En 2017, "Attention Is All You Need" a proposé le Transformer, utilisant le mécanisme d'attention pour résoudre cela : chaque position ne voit plus seulement l'état compressé précédent, mais peut regarder en arrière vers toutes les positions historiques et décider dynamiquement où se concentrer.
Fait intéressant, bien que cet article ait amélioré le traitement du texte, il n'a pas touché au flux d'information entre les couches — les connexions résiduelles sont restées l'accumulation fixe de 2015.
La question de Kimi : Lors du traitement du texte, nous avons remplacé le "transfert compressé" par l'attention ; pourquoi utilisons-nous encore le "transfert compressé" entre les couches ?
C'est l'idée centrale de AttnRes : appliquer le mécanisme d'attention aux connexions entre les couches. Dans un sens, cela fait suite à "Attention Is All You Need" dans la direction de la profondeur.
En termes simples, chaque couche peut maintenant "regarder en arrière" vers toutes les sorties des couches précédentes et décider dynamiquement quels résultats sont les plus pertinents en fonction du contenu actuel. Ce "regard en arrière" est le mécanisme d'attention — le même que ce que les Transformers font avec le texte, mais la direction passe de "regarder en arrière vers les mots précédents" à "regarder en arrière vers les couches précédentes."
Le coût en paramètres est négligeable : un seul vecteur supplémentaire par couche. Le plus important, c'est que les poids du "qui regarder" ne sont pas fixes. Le même modèle, traitant des entrées différentes, se concentrera sur des couches différentes. C'est la différence essentielle avec mHC : les poids mHC sont fixes après l'entraînement ; les poids AttnRes sont "vivants."
Cela me rappelle Proust. Dans "À la Recherche du Temps Perdu," quand Marcel goûte la madeleine trempée dans du thé, l'enfance de Combray lui revient — non pas comme une impression vague, mais comme une perception précise contournant toutes les chaînes narratives intermédiaires. Proust appelait cela la "mémoire involontaire." AttnRes donne à chaque couche une capacité proustienne d'ingénierie : déclenchée par le contenu actuel, elle saute directement à la sortie précise de n'importe quelle couche prédécesseur sans passer par la chaîne de compression intermédiaire.
La Différence Essentielle Entre les Deux Solutions
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Ce qui a été modifié | Méthode d'apprentissage des poids de connexion | Structure du flux d'information |
Poids : Vivants ou Morts | Fixes après l'entraînement | Différents pour chaque entrée |
Ce qui peut être vu | Seulement l'état mixte de la couche précédente | Peut voir directement les sorties brutes de toutes les couches précédentes |
Ce qui a été résolu | Poids rigides | Sélection "Au menu" + effet de pièce bruyante |
Une étude d'ablation dans l'article est très directe : si le modèle peut voir toutes les couches précédentes mais que les poids sont fixes, il n'y a presque pas d'amélioration. Mais avec des poids dynamiques (décidés en temps réel en fonction du contenu), les performances s'améliorent significativement.
Block AttnRes : Implémentation Technique
Idéalement, chaque couche regarde en arrière toutes les couches précédentes (Full AttnRes). Mais pour un modèle de 100+ couches, stocker toutes les sorties demande trop de mémoire. La solution technique de Kimi est Block AttnRes : diviser les couches en environ 8 "blocs." Dans les blocs, on utilise des résidus standards ; entre les blocs, on utilise l'attention. L'utilisation de la mémoire chute significativement tout en conservant la plupart des gains. Le surcoût d'entraînement est inférieur à 4 %, et la latence d'inférence augmente de moins de 2 %.
Quels sont les résultats ?
Testé sur le modèle 48B de paramètres de Kimi : À calcul égal, AttnRes a atteint des performances que les méthodes standard auraient nécessité 25 % de calcul supplémentaire pour atteindre.
Les améliorations des tâches en aval sont significatives, surtout en raisonnement :
- GPQA-Diamond : 36,9 → 44,4 (+7,5 points)
- Math : 53,5 → 57,1
- Code : 59,1 → 62,2
- C-Eval : 79,6 → 82,5
Qu'est-ce que le modèle a appris ?
Kimi a visualisé les schémas de "regard en arrière" :
- Regarde surtout les voisins. Les résidus standards n'étaient pas complètement faux.
- L'entrée originale n'est jamais oubliée. Même dans les couches les plus profondes, l'attention portée à l'entrée initiale est non nulle.
- Le modèle a inventé des "raccourcis." Certaines couches sautent le milieu pour se concentrer sur les couches très précoces.
Le Tableau d'Ensemble
La plupart des équipes se concentrent sur de meilleures données, un contexte plus long ou un MoE plus grand. Ce sont des optimisations sous l'hypothèse que "les connexions de couches sont fixes." Revenir à la structure de base pour une percée nécessite un jugement technique et une force d'ingénierie.
Les connexions résiduelles sont la norme depuis dix ans. En trois mois, deux laboratoires chinois ont trouvé des percées fondamentales ici. Le "Travail impressionnant" de Musk est plus qu'une courtoisie ; cela signale que le paradigme sous-jacent de l'apprentissage profond est en train de changer.
Références :
- Rapport sur les Résidus d'Attention : https://github.com/MoonshotAI/Attention-Residuals
- Article mHC : https://arxiv.org/abs/2512.24880
- Rapport Linéaire de Kimi : https://arxiv.org/abs/2510.26692
Kimi explique cet article simplement : Les grands modèles sont comme un bâtiment de 100 étages. Pendant dix ans, les ouvriers passaient un seul fichier mélangé d'étage en étage. Kimi a installé un téléphone à chaque étage. Maintenant, l'ouvrier au 100ème étage peut appeler directement le 3ème étage pour vérifier les données, au lieu de fouiller dans un fichier modifié 97 fois. Ce simple changement a donné au modèle un gain de performance gratuit de 25 %.
