Esta noite, de repente vi um tweet de Musk: "Trabalho impressionante da Kimi."
Fui ver o que deixou o velho Musk tão animado. Então descobri que a Kimi havia publicado um artigo.
Li atentamente o artigo que Musk elogiou. Descobri que o protagonista deste artigo é algo bem familiar para mim — as conexões residuais. Minha primeira reação foi: Espera, não foi isso que a DeepSeek mexeu no final do ano passado?
Em janeiro deste ano, escrevi um artigo interpretando o artigo da DeepSeek sobre mHC. O cerne era: a DeepSeek encontrou algo que todo mundo achava que não precisava ser mudado — as conexões residuais — e mudou.
Agora a Kimi também está mexendo nas conexões residuais, e Musk diz que é impressionante. Li o artigo com confusão. A conclusão: ambos os laboratórios encontraram o mesmo problema, mas seus pontos de partida e profundidade das soluções são completamente diferentes.
Qual problema a DeepSeek encontrou e como o resolveu?
Vamos revisar rapidamente o artigo da DeepSeek. As conexões residuais padrão são assim:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
A saída de cada camada = saída da camada anterior + coisas novas aprendidas nesta camada. Pesos fixos, acumulação uniforme. Proposto pela ResNet em 2015, usado por todos os grandes modelos desde então.
A percepção do problema da DeepSeek foi: Pesos fixos são muito rígidos? É razoável que cada camada trate todas as camadas anteriores igualmente?
A primeira tentativa deles foi Hyper-Connections (HC): expandir o fluxo residual de 1 para 4 caminhos, com pesos aprendíveis para cada um. Funcionou bem, mas tinha uma falha fatal: instabilidade no treinamento. As matrizes de peso aprendíveis não tinham restrições, e após 60 camadas de multiplicação, o sinal era amplificado 3000 vezes. A curva de perda disparava subitamente no meio do treinamento.
A solução final mHC: restringir a matriz de pesos a uma "matriz duplamente estocástica" — onde a soma de cada linha e coluna é igual a 1. Essa propriedade matemática garante que a norma espectral seja ≤ 1, evitando explosão do sinal. O treinamento se tornou estável e o desempenho superou as conexões residuais originais com um custo de apenas 6,7% a mais de tempo de treinamento.
A solução da DeepSeek: mudar os pesos das conexões de fixos para aprendíveis, usando restrições matemáticas para garantir estabilidade.
O que a Kimi encontrou e por que parece igual?
O artigo da Kimi também começa discutindo problemas com conexões residuais. Mas, conforme fui lendo, a definição de problema da Kimi está em outro nível.
A DeepSeek perguntou: Os pesos podem ser mais flexíveis?
A Kimi perguntou: Qual é o problema mais fundamental? Mesmo que os pesos sejam aprendíveis, o que ainda não foi resolvido?
Eles encontraram três respostas.
Primeiro, você não pode "pedir no cardápio".
Cada camada vê apenas o "estado misturado" passado da camada anterior — o resultado de todas as saídas das camadas anteriores sendo mexidas juntas. Mas diferentes tipos de camadas precisam de coisas diferentes: algumas podem precisar de semântica bruta inicial, outras podem precisar de características recém-calculadas. Atualmente, todas comem a mesma refeição mista; não podem dizer "quero a saída da camada 3".
Segundo, a informação não pode ser recuperada.
Quando uma camada aprende algo valioso e isso é misturado no estado acumulado, fica misturado com todo o resto. Conforme as camadas subsequentes empilham novas saídas, essa informação desaparece e acaba sendo abafada. É irreversível.
Terceiro, camadas posteriores têm mais dificuldade de causar impacto.
Imagine falar em uma sala que fica cada vez mais barulhenta. As camadas anteriores acumularam um grande sinal; as camadas posteriores precisam gritar mais alto do que todas as anteriores combinadas para serem ouvidas. O artigo mediu isso: nas camadas finais, a magnitude do sinal é mais de dez vezes o início. Para ter o mesmo impacto, as camadas posteriores precisam de dez vezes o "volume".
O mHC resolveu a estabilidade do treinamento, mas esses três problemas fundamentais permanecem — porque os pesos do mHC, embora aprendíveis, são fixos após o treinamento. Independentemente da entrada, os pesos são os mesmos.
Solução da Kimi: Movendo soluções da dimensão temporal para a dimensão de profundidade
A solução da Kimi vem de uma bela analogia. Esses três problemas — sem cardápio, informação perdida e gritar em uma sala barulhenta — parecem familiares. São exatamente os problemas encontrados antes de 2017 ao processar sequências de texto com RNNs.
Em 2017, "Attention Is All You Need" propôs o Transformer, usando o mecanismo de atenção para resolver isso: cada posição não vê mais apenas o estado comprimido anterior, mas pode olhar para trás para todas as posições históricas e decidir dinamicamente onde focar.
Curiosamente, enquanto esse artigo atualizou o processamento de texto, ele não mexeu no fluxo de informações entre as camadas — as conexões residuais permaneceram como a acumulação fixa de 2015.
A pergunta da Kimi: Ao processar texto, substituímos a "transferência comprimida" pela atenção; por que ainda estamos usando "transferência comprimida" entre as camadas?
Este é o insight central do AttnRes: aplicar o mecanismo de atenção às conexões entre camadas. De certa forma, esta é a sequência de "Attention Is All You Need" na direção da profundidade.
De forma simples, cada camada agora pode "olhar para trás" para todas as saídas das camadas anteriores e decidir dinamicamente quais resultados são mais relevantes com base no conteúdo atual. Esse "olhar para trás" é o mecanismo de atenção — o mesmo que os Transformers fazem com texto, mas a direção muda de "olhar para trás para palavras anteriores" para "olhar para trás para camadas anteriores".
O custo de parâmetros é insignificante: apenas um vetor extra por camada. Mais importante, os pesos de "quem olhar" não são fixos. O mesmo modelo, processando entradas diferentes, focará em camadas diferentes. Esta é a diferença essencial do mHC: os pesos do mHC são fixos após o treinamento; os pesos do AttnRes são "vivos".
Isso me lembra Proust. Em "Em Busca do Tempo Perdido", quando Marcel prova a madeleine mergulhada no chá, a infância de Combray volta — não como uma impressão vaga, mas como uma percepção precisa que contorna todas as cadeias narrativas intermediárias. Proust chamou isso de "memória involuntária". O AttnRes dá a cada camada uma capacidade proustiana de engenharia: acionada pelo conteúdo atual, ela salta diretamente para a saída precisa de qualquer camada predecessor, sem passar pela cadeia de compressão intermediária.
A Diferença Essencial Entre as Duas Soluções
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
O que foi alterado | Método de aprendizado dos pesos da conexão | Estrutura do fluxo de informações |
Pesos: Vivos ou Mortos | Fixos após o treinamento | Diferentes para cada entrada |
O que pode ser visto | Apenas o estado misturado da camada anterior | Pode ver diretamente as saídas brutas de todas as camadas anteriores |
O que foi resolvido | Pesos rígidos | Seleção "cardápio" + efeito de sala barulhenta |
Um estudo de ablação no artigo é muito direto: se o modelo pode ver todas as camadas anteriores, mas os pesos são fixos, quase não há melhora. Mas com pesos dinâmicos (decididos em tempo real com base no conteúdo), o desempenho melhora significativamente.
Block AttnRes: Implementação de Engenharia
Idealmente, cada camada olha para trás para todas as camadas anteriores (Full AttnRes). Mas para um modelo com mais de 100 camadas, armazenar todas as saídas consome muita memória. A solução de engenharia da Kimi é o Block AttnRes: dividir as camadas em cerca de 8 "blocos". Dentro dos blocos, são usados resíduos padrão; entre blocos, é usada atenção. O uso de memória cai drasticamente, mantendo a maior parte dos ganhos. A sobrecarga de treinamento é inferior a 4%, e a latência de inferência aumenta menos de 2%.
Quais são os resultados?
Testado no modelo de 48B parâmetros da Kimi: Usando a mesma computação, o AttnRes alcançou desempenho que os métodos padrão precisariam de 25% mais computação para atingir.
Melhorias em tarefas downstream são significativas, especialmente em raciocínio:
- GPQA-Diamond: 36,9 → 44,4 (+7,5 pontos)
- Math: 53,5 → 57,1
- Code: 59,1 → 62,2
- C-Eval: 79,6 → 82,5
O que o modelo aprendeu?
A Kimi visualizou os padrões de "olhar para trás":
- Olha principalmente para vizinhos. Os resíduos padrão não estavam totalmente errados.
- A entrada original nunca é esquecida. Mesmo nas camadas mais profundas, a atenção à entrada inicial é diferente de zero.
- O modelo inventou "atalhos". Certas camadas pulam o meio para focar em camadas muito iniciais.
O Panorama Geral
A maioria das equipes foca em dados melhores, contexto mais longo ou MoE maiores. Essas são otimizações sob a suposição de que "as conexões das camadas são fixas". Voltar à estrutura base para uma inovação requer julgamento técnico e força de engenharia.
As conexões residuais são o padrão há dez anos. Em três meses, dois laboratórios chineses encontraram inovações fundamentais aqui. O "Trabalho impressionante" de Musk é mais do que cortesia; sinaliza que o paradigma subjacente do aprendizado profundo está mudando.
Referências:
- Relatório Attention Residuals: https://github.com/MoonshotAI/Attention-Residuals
- Artigo mHC: https://arxiv.org/abs/2512.24880
- Relatório Linear da Kimi: https://arxiv.org/abs/2510.26692
A Kimi explica este artigo em termos simples: Grandes modelos são como um prédio de 100 andares. Por dez anos, trabalhadores passavam um único arquivo misturado andar por andar. A Kimi instalou um telefone em cada andar. Agora, o trabalhador do 100º andar pode ligar diretamente para o 3º andar para verificar dados, em vez de cavar um arquivo que foi modificado 97 vezes. Essa simples mudança deu ao modelo um ganho gratuito de 25% no desempenho.
