Esta noche, de repente vi que Musk publicó un tuit: "Trabajo impresionante de Kimi."
Fui a ver qué había emocionado tanto al viejo Musk. Entonces descubrí que Kimi había publicado un paper.
Leí con atención el paper que Musk elogió. Descubrí que el protagonista de este paper me resultaba bastante familiar: las conexiones residuales. Mi primera reacción fue: Espera, ¿no es esto justo lo que DeepSeek tocó a finales del año pasado?
En enero de este año, escribí un artículo interpretando el paper mHC de DeepSeek. La idea central era: DeepSeek encontró algo que todos pensaban que no necesitaba cambios —las conexiones residuales— y lo cambió.
Ahora Kimi también le está metiendo mano a las conexiones residuales, y Musk dice que es impresionante. Leí el paper con confusión. La conclusión: ambos laboratorios encontraron el mismo problema, pero sus puntos de partida y la profundidad de las soluciones son completamente diferentes.
¿Qué problema encontró DeepSeek y cómo lo resolvieron?
Repasemos rápidamente el paper de DeepSeek. Las conexiones residuales estándar se ven así:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
La salida de cada capa = salida de la capa anterior + cosas nuevas aprendidas en esta capa. Pesos fijos, acumulación uniforme. Propuesto por ResNet en 2015, usado por todos los modelos grandes desde entonces.
La conciencia del problema de DeepSeek era: ¿Son los pesos fijos demasiado rígidos? ¿Es razonable que cada capa trate por igual a todas las capas anteriores?
Su primer intento fue Hyper-Connections (HC): expandir el flujo residual de 1 a 4 caminos, con pesos aprendibles para cada uno. Funcionó bien, pero tenía un defecto fatal: inestabilidad en el entrenamiento. Las matrices de pesos aprendibles no tenían restricciones, y después de 60 capas de multiplicación, la señal se amplificaba 3000 veces. La curva de pérdida se disparaba de repente a mitad del entrenamiento.
La solución final mHC: restringir la matriz de pesos a una "matriz doblemente estocástica" —donde la suma de cada fila y columna es igual a 1. Esta propiedad matemática asegura que la norma espectral sea ≤ 1, evitando la explosión de la señal. El entrenamiento se volvió estable y el rendimiento superó a las conexiones residuales originales con un costo de solo un 6,7% más de tiempo de entrenamiento.
La solución de DeepSeek: cambiar los pesos de las conexiones de fijos a aprendibles, usando restricciones matemáticas para garantizar la estabilidad.
¿Qué encontró Kimi, y por qué parece lo mismo?
El paper de Kimi también comienza discutiendo problemas con las conexiones residuales. Pero a medida que leía, la definición del problema de Kimi está en otro nivel.
DeepSeek preguntó: ¿Pueden los pesos ser más flexibles?
Kimi preguntó: ¿Cuál es el problema más fundamental? Incluso si los pesos son aprendibles, ¿qué queda sin resolver?
Encontraron tres respuestas.
Primero, no puedes "pedir del menú".
Cada capa solo ve el "estado mixto" que le pasa la capa anterior: el resultado de mezclar todas las salidas de las capas anteriores. Pero diferentes tipos de capas necesitan cosas distintas: algunas podrían necesitar semántica cruda temprana, otras podrían necesitar características recién calculadas. Actualmente, todas comen la misma comida mezclada; no pueden decir "quiero la salida de la capa 3".
Segundo, la información no se puede recuperar.
Una vez que una capa aprende algo valioso y se mezcla en el estado acumulativo, se combina con todo lo demás. A medida que las capas posteriores apilan nuevas salidas, esa información se desvanece y eventualmente se ahoga. Es irreversible.
Tercero, a las capas posteriores les cuesta más tener impacto.
Imagina hablar en una habitación que se vuelve cada vez más ruidosa. Las capas anteriores han acumulado una señal grande; las capas posteriores deben gritar más fuerte que todas las predecesoras combinadas para ser escuchadas. El paper midió esto: en las capas finales, la magnitud de la señal es más de diez veces la inicial. Para tener el mismo impacto, las capas posteriores necesitan diez veces el "volumen".
mHC resolvió la estabilidad del entrenamiento, pero estos tres problemas fundamentales permanecen — porque los pesos de mHC, aunque aprendibles, son fijos después del entrenamiento. Independientemente de la entrada, los pesos son los mismos.
La solución de Kimi: mover soluciones de la dimensión temporal a la dimensión de profundidad
La solución de Kimi proviene de una hermosa analogía. Estos tres problemas —sin menú, información perdida y gritar en una habitación ruidosa— parecen familiares. Son exactamente los problemas que se encontraban antes de 2017 al procesar secuencias de texto con RNNs.
En 2017, "Attention Is All You Need" propuso el Transformer, usando el mecanismo de atención para resolver esto: cada posición ya no solo ve el estado comprimido anterior, sino que puede mirar hacia atrás a todas las posiciones históricas y decidir dinámicamente dónde enfocarse.
Curiosamente, mientras ese paper mejoró el procesamiento de texto, no tocó el flujo de información entre capas — las conexiones residuales siguieron siendo la acumulación fija de 2015.
La pregunta de Kimi: Cuando procesamos texto, reemplazamos la "transferencia comprimida" con atención; ¿por qué todavía usamos "transferencia comprimida" entre capas?
Esta es la idea central de AttnRes: aplicar el mecanismo de atención a las conexiones entre capas. En cierto sentido, esta es la secuela de "Attention Is All You Need" en la dirección de la profundidad.
En términos simples, cada capa ahora puede "mirar hacia atrás" a las salidas de todas las capas anteriores y decidir dinámicamente qué resultados son más relevantes según el contenido actual. Este "mirar hacia atrás" es el mecanismo de atención — el mismo que usan los Transformers con el texto, pero la dirección cambia de "mirar hacia atrás a palabras anteriores" a "mirar hacia atrás a capas anteriores".
El costo de parámetros es insignificante: solo un vector extra por capa. Lo más importante, los pesos de "a quién mirar" no son fijos. El mismo modelo, procesando entradas diferentes, se enfocará en capas diferentes. Esta es la diferencia esencial con mHC: los pesos de mHC son fijos después del entrenamiento; los pesos de AttnRes están "vivos".
Me recuerda a Proust. En "En busca del tiempo perdido", cuando Marcel prueba la magdalena mojada en té, la infancia de Combray regresa — no como una impresión vaga, sino como una percepción precisa que sortea todas las cadenas narrativas intermedias. Proust llamó a esto "memoria involuntaria". AttnRes le da a cada capa una capacidad proustiana ingenieril: activada por el contenido actual, salta directamente a la salida precisa de cualquier capa predecesora sin pasar por la cadena de compresión intermedia.
La Diferencia Esencial entre las Dos Soluciones
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Qué se cambió | Método de aprendizaje de los pesos de conexión | Estructura del flujo de información |
Pesos: Vivos o Muertos | Fijos después del entrenamiento | Diferentes para cada entrada |
Qué se puede ver | Solo el estado mixto de la capa anterior | Puede ver directamente las salidas crudas de todas las capas anteriores |
Qué se resolvió | Pesos rígidos | Selección de "menú" + efecto de habitación ruidosa |
Un estudio de ablación en el paper es muy directo: si el modelo puede ver todas las capas anteriores pero los pesos son fijos, casi no hay mejora. Pero con pesos dinámicos (decididos en tiempo real según el contenido), el rendimiento mejora significativamente.
Block AttnRes: Implementación de Ingeniería
Idealmente, cada capa mira hacia atrás a todas las capas anteriores (Full AttnRes). Pero para un modelo de más de 100 capas, almacenar todas las salidas consume demasiada memoria. La solución de ingeniería de Kimi es Block AttnRes: dividir las capas en unos 8 "bloques". Dentro de los bloques, se usan residuales estándar; entre bloques, se usa atención. El uso de memoria disminuye significativamente mientras se retienen la mayoría de las ganancias. La sobrecarga de entrenamiento es inferior al 4%, y la latencia de inferencia aumenta menos del 2%.
¿Cómo son los resultados?
Probado en el modelo de 48B parámetros de Kimi: Usando el mismo cómputo, AttnRes logró un rendimiento que los métodos estándar necesitarían un 25% más de cómputo para alcanzar.
Las mejoras en tareas posteriores son significativas, especialmente en razonamiento:
- GPQA-Diamond: 36,9 → 44,4 (+7,5 puntos)
- Matemáticas: 53,5 → 57,1
- Código: 59,1 → 62,2
- C-Eval: 79,6 → 82,5
¿Qué aprendió el modelo?
Kimi visualizó los patrones de "mirar hacia atrás":
- Mayormente mira a los vecinos. Los residuales estándar no estaban del todo equivocados.
- La entrada original nunca se olvida. Incluso en las capas más profundas, la atención a la entrada inicial es distinta de cero.
- El modelo inventó "atajos". Ciertas capas saltan el medio para enfocarse en capas muy tempranas.
El Panorama General
La mayoría de los equipos se enfocan en mejores datos, contexto más largo o MoE más grande. Estas son optimizaciones bajo el supuesto de que "las conexiones de capas son fijas". Volver a la estructura base para un avance requiere criterio técnico y fortaleza en ingeniería.
Las conexiones residuales han sido el estándar durante diez años. En menos de tres meses, dos laboratorios chinos encontraron avances fundamentales aquí. El "Trabajo impresionante" de Musk es más que un cumplido; indica que el paradigma subyacente del deep learning está cambiando.
Referencias:
- Attention Residuals Report: https://github.com/MoonshotAI/Attention-Residuals
- mHC Paper: https://arxiv.org/abs/2512.24880
- Kimi Linear Report: https://arxiv.org/abs/2510.26692
Kimi explica este paper en términos simples: Los modelos grandes son como un edificio de 100 pisos. Durante diez años, los trabajadores pasaban un solo archivo mezclado piso por piso. Kimi instaló un teléfono en cada piso. Ahora, el trabajador del piso 100 puede llamar directamente al piso 3 para verificar datos, en lugar de hurgar en un archivo que ha sido modificado 97 veces. Este simple cambio le dio al modelo una mejora gratuita del 25% en rendimiento.
