Stanotte ho visto improvvisamente un tweet di Musk: "Lavoro impressionante da parte di Kimi."
Sono andato a controllare cosa avesse entusiasmato così tanto il buon vecchio Musk. Poi, ho scoperto che Kimi aveva pubblicato un paper.
Ho letto attentamente il paper che Musk ha elogiato. Ho scoperto che il protagonista di questo paper è qualcosa che conosco bene: le connessioni residue. La mia prima reazione è stata: aspetta, non è proprio quello che DeepSeek ha toccato verso la fine dell'anno scorso?
A gennaio di quest'anno, ho scritto un articolo interpretando il paper mHC di DeepSeek. Il punto centrale era: DeepSeek ha scoperto qualcosa che tutti pensavano non avesse bisogno di essere modificato – le connessioni residue – e l'ha modificato.
Ora anche Kimi sta mettendo mano alle connessioni residue, e Musk dice che è impressionante. Ho letto il paper con confusione. La conclusione: entrambi i laboratori hanno trovato lo stesso problema, ma i loro punti di partenza e la profondità delle soluzioni sono completamente diversi.
Quale problema ha trovato DeepSeek e come lo ha risolto?
Rivediamo velocemente il paper di DeepSeek. Le connessioni residue standard sono così:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
L'output di ogni layer = output del layer precedente + cose nuove apprese in questo layer. Pesi fissi, accumulo uniforme. Proposto da ResNet nel 2015, usato da tutti i modelli di grandi dimensioni da allora.
La consapevolezza del problema da parte di DeepSeek era: i pesi fissi sono troppo rigidi? È ragionevole che ogni layer tratti tutti i layer precedenti allo stesso modo?
Il loro primo tentativo è stato Hyper-Connections (HC): espandere il flusso residuo da 1 a 4 percorsi, con pesi apprendibili per ciascuno. Funzionava bene ma aveva un difetto fatale: instabilità nell'addestramento. Le matrici dei pesi apprendibili non avevano vincoli e, dopo 60 layer di moltiplicazione, il segnale veniva amplificato 3000 volte. La curva della loss subiva un picco improvviso a metà dell'addestramento.
La soluzione finale mHC: vincolare la matrice dei pesi a una "matrice doppiamente stocastica" – dove la somma di ogni riga e ogni colonna è uguale a 1. Questa proprietà matematica garantisce che la norma spettrale sia ≤ 1, prevenendo l'esplosione del segnale. L'addestramento è diventato stabile e le performance hanno superato le connessioni residue originali con un costo di solo il 6.7% di tempo di addestramento in più.
La soluzione di DeepSeek: cambiare i pesi delle connessioni da fissi ad apprendibili, usando vincoli matematici per garantire la stabilità.
Cosa ha trovato Kimi, e perché sembra la stessa cosa?
Anche il paper di Kimi inizia discutendo i problemi con le connessioni residue. Ma mentre continuavo a leggere, la definizione del problema di Kimi è a un livello diverso.
DeepSeek chiedeva: i pesi possono essere più flessibili?
Kimi chiedeva: qual è il problema più fondamentale? Anche se i pesi sono apprendibili, cosa rimane irrisolto?
Hanno trovato tre risposte.
Primo, non puoi "ordinare dal menù."
Ogni layer vede solo lo "stato misto" trasmesso dal layer precedente – il risultato di tutti gli output dei layer precedenti mescolati insieme. Ma diversi tipi di layer hanno bisogno di cose diverse: alcuni potrebbero aver bisogno della semantica grezza iniziale, altri potrebbero aver bisogno delle caratteristiche appena calcolate. Attualmente, mangiano tutti lo stesso pasto misto; non possono dire "voglio l'output del layer 3."
Secondo, le informazioni non possono essere recuperate.
Una volta che un layer apprende qualcosa di prezioso e questa viene mescolata nello stato cumulativo, si fonde con tutto il resto. Man mano che i layer successivi accumulano nuovi output, quell'informazione svanisce e viene infine sommersa. È irreversibile.
Terzo, i layer successivi trovano più difficile avere un impatto.
Immagina di parlare in una stanza che diventa sempre più rumorosa. I layer precedenti hanno accumulato un segnale grande; i layer successivi devono urlare più forte di tutti i predecessori messi insieme per essere ascoltati. Il paper ha misurato questo: verso i layer finali, la magnitudine del segnale è oltre dieci volte quella iniziale. Per avere lo stesso impatto, i layer successivi hanno bisogno di dieci volte il "volume."
mHC ha risolto la stabilità dell'addestramento, ma questi tre problemi fondamentali rimangono – perché i pesi di mHC, sebbene apprendibili, sono fissi dopo l'addestramento. Indipendentemente dall'input, i pesi sono gli stessi.
La Soluzione di Kimi: Spostare le soluzioni della dimensione temporale alla dimensione della profondità
La soluzione di Kimi nasce da una bellissima analogia. Questi tre problemi – nessun menù, informazioni perse e urla in una stanza rumorosa – sembrano familiari. Sono esattamente i problemi incontrati prima del 2017 quando si elaboravano sequenze di testo con le RNN.
Nel 2017, "Attention Is All You Need" ha proposto il Transformer, utilizzando il meccanismo di attenzione per risolvere questo problema: ogni posizione non vede più solo lo stato compresso precedente, ma può guardare indietro a tutte le posizioni storiche e decidere dinamicamente su cosa concentrarsi.
Curiosamente, mentre quel paper ha migliorato l'elaborazione del testo, non ha toccato il flusso di informazioni tra i layer – le connessioni residue sono rimaste l'accumulo fisso del 2015.
La domanda di Kimi: Quando elaboriamo il testo, abbiamo sostituito il "trasferimento compresso" con l'attenzione; perché stiamo ancora usando il "trasferimento compresso" tra i layer?
Questa è l'intuizione centrale di AttnRes: applicare il meccanismo di attenzione alle connessioni tra i layer. In un certo senso, questo è il sequel di "Attention Is All You Need" nella direzione della profondità.
In parole povere, ogni layer ora può "guardare indietro" agli output di tutti i layer precedenti e decidere dinamicamente quali risultati sono più rilevanti in base al contenuto corrente. Questo "guardare indietro" è il meccanismo di attenzione – lo stesso che i Transformer fanno con il testo, ma la direzione cambia da "guardare indietro alle parole precedenti" a "guardare indietro ai layer precedenti."
Il costo in termini di parametri è trascurabile: solo un vettore extra per layer. La cosa più importante è che i pesi di "chi guardare" non sono fissi. Lo stesso modello, elaborando input diversi, si concentrerà su layer diversi. Questa è la differenza essenziale da mHC: i pesi di mHC sono fissi dopo l'addestramento; i pesi di AttnRes sono "vivi."
Mi ricorda Proust. In "Alla ricerca del tempo perduto," quando Marcel assaggia la madeleine imbevuta nel tè, l'infanzia di Combray riaffiora – non come un'impressione vaga, ma come una percezione precisa che bypassa tutte le catene narrative intermedie. Proust chiamava questo "memoria involontaria." AttnRes dà a ogni layer una capacità proustiana ingegnerizzata: innescata dal contenuto corrente, salta direttamente all'output preciso di qualsiasi layer predecessore senza passare attraverso la catena di compressione intermedia.
La Differenza Essenziale tra le Due Soluzioni
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Cosa è stato modificato | Metodo di apprendimento dei pesi di connessione | Struttura del flusso di informazioni |
Pesi: Vivi o Morti | Fissi dopo l'addestramento | Diversi per ogni input |
Cosa si può vedere | Solo lo stato misto del layer precedente | Può vedere direttamente gli output grezzi di tutti i layer precedenti |
Cosa è stato risolto | Pesi rigidi | Selezione "dal menù" + effetto stanza rumorosa |
Un'analisi di ablation nel paper è molto diretta: se il modello può vedere tutti i layer precedenti ma i pesi sono fissi, non c'è quasi alcun miglioramento. Ma con pesi dinamici (decisi in tempo reale in base al contenuto), le performance migliorano significativamente.
Block AttnRes: Implementazione Ingegneristica
Idealmente, ogni layer guarda indietro a tutti i layer precedenti (Full AttnRes). Ma per un modello con oltre 100 layer, memorizzare tutti gli output richiede troppa memoria. La soluzione ingegneristica di Kimi è Block AttnRes: dividere i layer in circa 8 "blocchi." All'interno dei blocchi, vengono usati i residui standard; tra i blocchi, viene usata l'attenzione. L'utilizzo della memoria diminuisce significativamente pur mantenendo la maggior parte dei guadagni. Il sovraccarico di addestramento è inferiore al 4% e la latenza di inferenza aumenta di meno del 2%.
Quali sono i risultati?
Testato sul modello da 48 miliardi di parametri di Kimi: Usando la stessa potenza di calcolo, AttnRes ha raggiunto performance che i metodi standard avrebbero richiesto il 25% di potenza di calcolo in più per ottenere.
I miglioramenti nei task downstream sono significativi, specialmente nel ragionamento:
- GPQA-Diamond: 36.9 → 44.4 (+7.5 punti)
- Math: 53.5 → 57.1
- Code: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
Cosa ha imparato il modello?
Kimi ha visualizzato i pattern di "guardare indietro":
- Guarda per lo più ai vicini. I residui standard non erano del tutto sbagliati.
- L'input originale non viene mai dimenticato. Anche nei layer più profondi, l'attenzione all'input iniziale è diversa da zero.
- Il modello ha inventato delle "scorciatoie." Alcuni layer saltano la parte centrale per concentrarsi su layer molto precoci.
Il Quadro Generale
La maggior parte dei team si concentra su dati migliori, contesti più lunghi o MoE più grandi. Queste sono ottimizzazioni sotto l'assunzione che "le connessioni dei layer sono fisse." Tornare alla struttura di base per un breakthrough richiede giudizio tecnico e forza ingegneristica.
Le connessioni residue sono state l'impostazione predefinita per dieci anni. Nell'arco di tre mesi, due laboratori cinesi hanno trovato breakthrough fondamentali qui. L'"Impressive work" di Musk è più di una cortesia; segnala che il paradigma di base del deep learning sta cambiando.
Riferimenti:
- Rapporto Attention Residuals: https://github.com/MoonshotAI/Attention-Residuals
- Paper mHC: https://arxiv.org/abs/2512.24880
- Rapporto Lineare Kimi: https://arxiv.org/abs/2510.26692
Kimi spiega questo paper in termini semplici: I modelli grandi sono come un edificio di 100 piani. Per dieci anni, gli operai hanno passato un singolo file misto su per ogni piano. Kimi ha installato un telefono su ogni piano. Ora, l'operaio al 100° piano può chiamare direttamente il 3° piano per controllare i dati invece di scavare in un file che è stato modificato 97 volte. Questo semplice cambiamento ha dato al modello un miglioramento gratuito delle prestazioni del 25%.
