Astra demuestra lo lejos que ha llegado la IA. ¿Qué la lleva más allá?
El progreso continuo de los modelos más capaces de hoy depende de decisiones más inteligentes antes del entrenamiento, mejores estrategias durante el entrenamiento y una infraestructura más eficiente que respalde ambos aspectos, trabajo que aún es liderado en gran medida por investigadores humanos. Cuando la IA puede perseguir estas mejoras de forma recursiva, el ritmo del progreso cambia fundamentalmente: cada avance verificado fortalece el siguiente ciclo.
Por eso construimos el sistema de investigación automatizada de IA de Apex Intelligence para descubrir y validar mejoras en todas las pilas de entrenamiento de IA.
En su primera evaluación, nuestro sistema logró tres nuevos SOTA oficiales en SLDBench SimpleTES, GPUMode TriMul (H100) y MLS-Bench Fused Causal Attention Kernel, con su resultado TriMul superando a TTT-Discover de un equipo que incluye a Stanford, NVIDIA y otras instituciones. En NanoChat Autoresearch, su resultado B200 superó los resultados publicados tanto de Recursive SuperIntelligence como de Hyra de Tencent Hunyuan, colocándolo cerca del SOTA público para entrenamiento de LLM con presupuesto fijo.
Esto demuestra que el paradigma de investigación recursiva automatizada de Apex funciona al nivel de—y en algunos casos supera—la ingeniería humana de primer nivel y los sistemas automatizados de última generación en predicción de escalado de modelos, entrenamiento de modelos de lenguaje con presupuesto fijo y rendimiento de kernels de GPU.
Dentro de cada punto de referencia, el ciclo de investigación se ejecuta de forma autónoma: el sistema identifica qué mejorar, prueba sus ideas, verifica los resultados y aprende de la evidencia. Estos resultados de vanguardia crean puntos de partida más sólidos para los ciclos que siguen—así es como la mejora se vuelve recursiva.
Evaluación I: SLDBench (Protocolo SimpleTES de 4 Tareas)
Antes de que comience una gran ejecución de entrenamiento, los investigadores deben predecir el rendimiento a escalas que no pueden permitirse probar directamente. Las leyes de escalado guían las decisiones sobre el tamaño del modelo, la composición de los datos, la tasa de aprendizaje, el tamaño del lote y el cómputo; una ley que se ajusta a experimentos pequeños pero que extrapola mal puede desviar todo un presupuesto de entrenamiento.
SLDBench convierte esta incertidumbre en una tarea de descubrimiento medible construida a partir de más de 5,000 experimentos de entrenamiento de LLM publicados. Cada sistema debe producir una ley simbólica y un procedimiento de ajuste que se generalice a regímenes de escalado no vistos. Siguiendo la evaluación de cuatro tareas utilizada por SimpleTES, nuestro sistema de IA se prueba en escalado paralelo, escalado de mezcla de dominios, co-escalado de tasa de aprendizaje/tamaño de lote y escalado de cómputo en forma de U.
Bajo los evaluadores públicos fijos, nuestro sistema mejora la referencia pública anterior en cada tarea, elevando el promedio de cuatro tareas de 0.8613 a 0.8846 (+2.71%). La mayor ganancia se produce en el escalado en forma de U, donde la puntuación sube de 0.4975 a 0.5761 (+15.80%). El co-escalado de tasa de aprendizaje/tamaño de lote mejora de 0.9506 a 0.9650 (+1.51%), con más ganancias en el escalado paralelo y de mezcla de dominios. Estas puntuaciones miden el rendimiento en regímenes no vistos, recompensando las leyes que siguen siendo precisas más allá de los experimentos utilizados para ajustarlas.
Figura 1: Nuestro sistema de investigación de IA mejora la referencia pública anterior en las cuatro tareas seleccionadas de SLDBench, elevando la puntuación promedio no vista de 0.8613 a 0.8846. La mayor ganancia se da en el escalado en forma de U. Más alto es mejor.
El avance más claro a nivel de método aparece en el escalado de cómputo en forma de U. Nuestro sistema de IA representa la curva como la suma de una tendencia de escalado persistente y un efecto de régimen localizado que surge en un rango de cómputo limitado y luego decae. Esta estructura evita que una reversión temporal en los datos observados se proyecte indefinidamente.
La distinción se vuelve decisiva cuando el evaluador retiene la fase final de la curva. Las ecuaciones flexibles pueden reproducir la curvatura observada mientras extrapolan en la dirección incorrecta; modelar explícitamente el inicio, la duración y la decadencia del componente transitorio produce predicciones más precisas después del punto de inflexión.
El resultado es técnicamente significativo porque la descomposición mejora la precisión en datos no vistos mientras sigue siendo interpretable y comprobable. Sugiere una hipótesis reutilizable para el descubrimiento de leyes de escalado: una reversión aparente puede reflejar un régimen temporal superpuesto a una tendencia de escalado a largo plazo.
Evaluación II: NanoChat Autoresearch
El entrenamiento con presupuesto fijo obliga a que cada idea se gane su lugar: las mejoras deben provenir del uso más efectivo del mismo tiempo y hardware. Esto convierte a NanoChat Autoresearch en una prueba directa de si un sistema de IA puede convertir la experimentación rápida en una implementación de entrenamiento de modelos más sólida.
Lanzado por Andrej Karpathy en marzo de 2026, NanoChat Autoresearch le da a un agente una GPU y la libertad de modificar la arquitectura del modelo, el optimizador, los hiperparámetros y el código de entrenamiento. Cada experimento recibe el mismo presupuesto de cinco minutos y se puntúa por bits por byte de validación (val_bpb; más bajo es mejor). La configuración se ha expandido desde entonces a autoresearch@home, donde participantes humanos y agentes de IA comparten experimentos y compiten contra las soluciones públicas más sólidas.
Bajo la configuración fija de 300 segundos con una sola B200, nuestro sistema de IA alcanza 0.892426 val_bpb, colocándolo cerca de la frontera pública. Esto supera la mejor ejecución única publicada de Recursive SuperIntelligence de junio de 2026 de 0.903891 y su media de 10 semillas de 0.9108745, así como el resultado Hyra de Tencent Hunyuan de julio de 2026 de 0.901543. Se acerca al líder de la tabla de clasificación pública a septiembre de 2026, ScienceGuru de AutoTrust AI, con 0.889522.
Figura 2: Comparación de BPB de validación bajo el presupuesto de entrenamiento fijo de 300 segundos con una sola B200. Más bajo es mejor.
La mejora decisiva proviene de llevar la dispersión de n-gramas a través del cómputo de entrenamiento. La implementación de ScienceGuru demuestra el valor de las grandes memorias de n-gramas, sin embargo, cada lote accede solo a una pequeña fracción de sus filas. Nuestro sistema de IA identifica los costos densos de gradiente que permanecen en la ruta de entrenamiento y los reemplaza con un pase hacia atrás compacto que actualiza solo las filas utilizadas por el lote actual.
Este cambio reduce la memoria máxima de entrenamiento de aproximadamente 177.7 GB a 140.6 GB—una reducción del 20.9%—mientras preserva una calidad cercana al SOTA. Dentro del mismo presupuesto de 300 segundos, nuestro sistema de IA alcanza 0.892426 val_bpb mientras procesa aproximadamente 4.5% menos tokens que la implementación de ScienceGuru, lo que demuestra que la calidad cercana al SOTA no depende de un mayor rendimiento de tokens.
Nuestro sistema de IA extiende el mismo principio a través de toda la ruta de acceso a la memoria. Fusiona dos búsquedas en tablas de n-gramas, concatenación, descubrimiento de filas activas y registro de filas en un solo kernel de Triton. El pase hacia atrás reutiliza directamente el mapeo resultante de fila a ranura, eliminando el trabajo de indexación duplicado y preservando la dispersión desde la búsqueda hasta la actualización del gradiente.
Este es un resultado sólido de sistemas porque un modelo disperso ya no paga costos de sistemas densos. El mismo principio puede transferirse a otras cargas de trabajo construidas alrededor de grandes tablas de incrustación o memoria siempre que cada lote toque solo un subconjunto pequeño de filas.
Evaluación III: GPUMode TriMul H100
Una vez que un kernel de GPU está altamente optimizado, la latencia restante rara vez se encuentra en la operación más obvia. Los cuellos de botella se mueven a través de los límites de fusión, los diseños de tensores y las rutas de acceso a la memoria, lo que hace que el progreso adicional sea una prueba de descubrimiento de cuellos de botella tanto como de generación de kernels.
La tarea GPUMode TriMul se dirige a la Actualización Multiplicativa Triangular saliente utilizada en modelos de estructura de proteínas de clase AlphaFold. Los participantes deben producir una implementación numéricamente correcta que minimice la latencia de media geométrica en siete formas de entrada fijas en una NVIDIA H100. La tarea ha atraído soluciones humanas y automatizadas sólidas, incluido TTT-Discover, publicado en enero de 2026 por investigadores de Stanford, NVIDIA, Astera Institute, UC San Diego y Together AI.
En las siete formas H100, nuestro sistema de IA alcanza una latencia de media geométrica de 1,036.1 μs. En nuestra evaluación emparejada en la misma máquina, esto mejora la comparación humana diseñada más sólida, stashuk-olek (1,064.9 μs), en un 2.71%. El resultado también es numéricamente más bajo que las implementaciones reportadas por separado de shiyegao CUDA (1,074 μs), Zeyu Shen Triton (1,140 μs) y TTT-Discover (1,161 μs), mientras se acerca al 0.59% de los 1,030 μs reportados por separado por K-Search.
Figura 3: Latencia de media geométrica en las siete cargas de trabajo de GPUMode TriMul H100. Nuestro sistema de IA alcanza 1,036.1 μs. Más bajo es mejor.
Los valores públicos se extraen de sus respectivos informes o registros de evaluación y no son mediciones emparejadas en la misma máquina. Nuestro resultado de 1,036.1 μs se mide localmente utilizando el evaluador oficial.
Las implementaciones existentes de TriMul de alto rendimiento ya utilizan fusión, multiplicación de matrices especializada, especialización de formas y movimiento de datos consciente del diseño. Nuestro sistema inicialmente impulsa la fusión del lado del productor más allá, luego detecta rendimientos decrecientes y dependientes de la forma a medida que aumenta la presión de los registros. En consecuencia, desplaza la búsqueda hacia cómo se consume la salida del productor.
Para varias formas de carga de trabajo, nuestro sistema de IA identifica el límite BMM→LayerNorm como la fuente restante de latencia. La implementación resultante carga las salidas de BMM a lo largo de la dimensión física contigua y realiza la transposición requerida en los registros antes de LayerNorm.
El resultado es técnicamente significativo porque nuestro sistema de IA cambia la hipótesis de búsqueda en sí misma: reconoce cuando la optimización del lado del productor se ha saturado, reubica el cuello de botella a través del límite BMM→LayerNorm y cambia el objetivo de optimización en consecuencia. Sus planes dependientes de la forma muestran además que el sistema puede adaptarse a medida que los cuellos de botella se mueven entre cargas de trabajo—una capacidad con un valor más amplio que ajustar un diseño de kernel fijo.
Evaluación IV: MLS-Bench — Kernel de Atención Causal Fusionada (H100)
La atención es un cuello de botella importante de cómputo y memoria en el entrenamiento e inferencia de Transformers, por lo que su eficiencia afecta directamente la velocidad y el costo del modelo. Los kernels modernos de atención fusionada ya están altamente optimizados, dejando poco margen obvio; las ganancias adicionales requieren revisar el algoritmo numérico junto con la programación y el movimiento de memoria.
La tarea de Atención Causal Fusionada de MLS-Bench pide a los sistemas de IA implementar un pase hacia adelante de autoatención fusionada de OpenAI Triton en una NVIDIA H100, maximizar el rendimiento en tres configuraciones de atención causal y mantener un error absoluto máximo por debajo de 1e-2. El punto de referencia incluye resultados de modelos de frontera como Claude Opus 4.6, GPT-5.4 y Gemini 3.1 Pro, proporcionando líneas base sólidas de Anthropic, OpenAI y Google DeepMind.
En las tres configuraciones de atención fusionada, nuestro sistema alcanza 430.7, 468.4 y 451.7 TFLOP/s en dimensiones de cabezal 64, 128 y 256. Estos resultados establecen un nuevo récord en las tres configuraciones, mejorando los resultados líderes anteriores en 27.18%, 15.63% y 17.11%, respectivamente.
Figura 4: Comparación de rendimiento en las tres cargas de trabajo de atención causal fusionada de MLS-Bench.
La mayor mejora provino de simplificar la ruta de softmax en línea. Las implementaciones estándar al estilo FlashAttention mantienen un máximo en ejecución y reescalan repetidamente las estadísticas de softmax acumuladas para la estabilidad numérica. Nuestro sistema de investigación automatizado encontró que, en las cargas de trabajo de MLS-Bench, los logits de atención escalados se mantienen dentro de un rango suficientemente estrecho, lo que permite eliminar este reescalado repetido mientras se sigue satisfaciendo la tolerancia numérica del punto de referencia.
El softmax sin reescalado resultante acumula directamente exponenciales y valores ponderados y normaliza una vez al final. Esto mejoró el rendimiento en 21.0%, 8.5% y 19.3% para las dimensiones de cabezal 64, 128 y 256, respectivamente.
Ganancias adicionales provinieron de optimizar la programación específica de la forma y el movimiento de memoria, incluyendo la programación LPT y TMA. La ruta sin reescalado fue el resultado más interesante porque cambió una suposición dentro del propio algoritmo numérico: un mecanismo de estabilidad diseñado para un rango operativo más amplio era innecesario para la carga de trabajo que se estaba evaluando.
De manera más amplia, este resultado apunta a una oportunidad más amplia: incluso cerca de la frontera de los sistemas, se pueden obtener más ganancias al revisar suposiciones que normalmente se tratan como fijas. En este caso, el sistema de investigación automatizado de Apex fue más allá de ajustar los parámetros y horarios de un kernel existente: identificó una salvaguarda numérica que podía omitirse de manera segura bajo el régimen operativo del punto de referencia y convirtió esa observación en una ruta de ejecución más rápida. Este es el tipo de comportamiento que nos interesa: usar la búsqueda no solo para optimizar parámetros y horarios, sino también para desafiar la estructura de las implementaciones establecidas.
Más Allá de los Puntos de Referencia
Un punto de referencia captura un resultado. Un sistema de IA recursivo lo lleva adelante. En cuatro puntos de referencia, nuestro sistema de investigación de IA ha producido mejoras verificadas de nivel fronterizo. Su proceso sigue un bucle de cuatro etapas: descubrir un valor desconocido alto, verificar soluciones candidatas, aprender de la evidencia y mejorar el siguiente ciclo. El siguiente paso es la transferencia—convertir los avances específicos de la tarea en conocimiento reutilizable que fortalezca los ciclos que siguen.
La investigación da a luz a la siguiente curva S. La visión científica, la investigación novedosa y los sistemas de ingeniería abren nuevos caminos—que la ejecución y la escala luego convierten en industrias del mundo real. Cuando una curva S se estanca, el progreso adicional depende de desbloquear la siguiente. Creemos que la próxima revolución tecnológica estará definida por la IA actuando como un motor de investigación nativo.
La IA está pasando de copiloto a colega. El juicio y la imaginación humanos guían lo que importa; la IA expande lo que se puede explorar. Juntos, pueden descubrir nuevas direcciones, inspirar nuevas preguntas y construir modelos más capaces—creando un ciclo de refuerzo entre el descubrimiento de la máquina y la imaginación humana. Astra demuestra lo lejos que ha llegado la IA. ¿Qué la lleva más allá? La capacidad de ayudar a descubrir lo que viene después.
Abrimos estos resultados para que los inspecciones, reproduzcas y extiendas. El código, los registros de experimentos, las implementaciones descubiertas y los materiales de evaluación ya están disponibles en GitHub y nuestro sitio web.
