Astra показывает, как далеко продвинулся ИИ. Что ведет его дальше?
Дальнейший прогресс самых современных моделей зависит от более разумных решений до обучения, лучших стратегий во время обучения и более эффективной инфраструктуры, лежащей в основе того и другого — работы, которая все еще в значительной степени выполняется исследователями-людьми. Когда ИИ сможет рекурсивно добиваться таких улучшений, темп прогресса фундаментально изменится: каждое подтвержденное достижение усилит следующий цикл.
Именно поэтому мы создали автоматизированную систему исследований ИИ Apex Intelligence для обнаружения и проверки улучшений в стеках обучения ИИ.
В своей первой оценке наша система достигла трех новых официальных SOTA на SLDBench SimpleTES, GPUMode TriMul (H100) и MLS-Bench Fused Causal Attention Kernel, причем ее результат TriMul превзошел TTT-Discover от команды, в которую входили специалисты из Stanford, NVIDIA и других учреждений. На NanoChat Autoresearch ее результат B200 превзошел опубликованные результаты как Recursive SuperIntelligence, так и Tencent Hunyuan's Hyra, приблизившись к публичному SOTA для обучения LLM с фиксированным бюджетом.
Это демонстрирует, что автоматизированная парадигма рекурсивных исследований Apex работает на уровне — а в некоторых случаях и превосходит — лучшую человеческую инженерию и самые современные автоматизированные системы в области прогнозирования масштабирования моделей, обучения языковых моделей с фиксированным бюджетом и производительности GPU-ядер.
В рамках каждого бенчмарка исследовательский цикл выполняется автономно: система определяет, что улучшить, тестирует свои идеи, проверяет результаты и учится на полученных данных. Эти результаты передового уровня создают более сильные отправные точки для последующих циклов — именно так улучшение становится рекурсивным.
Оценка I: SLDBench (Протокол SimpleTES из 4 задач)
Прежде чем начать крупномасштабное обучение, исследователи должны предсказать производительность на масштабах, которые они не могут позволить себе тестировать напрямую. Законы масштабирования направляют решения о размере модели, составе данных, скорости обучения, размере пакета и вычислительных ресурсах; закон, который хорошо работает для небольших экспериментов, но плохо экстраполируется, может направить весь бюджет обучения в неверном направлении.
SLDBench превращает эту неопределенность в измеримую задачу обнаружения, построенную на основе более чем 5000 опубликованных экспериментов по обучению LLM. Каждая система должна создать символический закон и процедуру подгонки, которые обобщаются на скрытые режимы масштабирования. Следуя оценке из четырех задач, используемой SimpleTES, наша система ИИ тестируется на параллельном масштабировании, масштабировании смеси доменов, совместном масштабировании скорости обучения/размера пакета и U-образном масштабировании вычислений.
Под контролем закрепленных публичных оценщиков наша система улучшает предыдущий публичный референс по каждой задаче, повышая средний показатель по четырем задачам с 0,8613 до 0,8846 (+2,71%). Наибольший прирост получен на U-образном масштабировании, где оценка выросла с 0,4975 до 0,5761 (+15,80%). Совместное масштабирование скорости обучения/размера пакета улучшилось с 0,9506 до 0,9650 (+1,51%), с дальнейшим ростом на параллельном масштабировании и масштабировании смеси доменов. Эти оценки измеряют производительность на скрытых режимах, вознаграждая законы, которые остаются точными за пределами экспериментов, использованных для их подгонки.
Рисунок 1: Наша система исследований ИИ улучшает предыдущий публичный референс по всем четырем выбранным задачам SLDBench, повышая среднюю скрытую оценку с 0,8613 до 0,8846. Наибольший прирост — на U-образном масштабировании. Чем выше, тем лучше.
Наиболее четкий методический прогресс виден на U-образном масштабировании вычислений. Наша система ИИ представляет кривую как сумму устойчивого тренда масштабирования и локализованного режимного эффекта, который возникает в ограниченном диапазоне вычислений, а затем затухает. Эта структура предотвращает бесконечное проецирование временного обращения вспять в наблюдаемых данных.
Различие становится решающим, когда оценщик скрывает финальную фазу кривой. Гибкие уравнения могут воспроизвести наблюдаемый изгиб, экстраполируя в неверном направлении; явное моделирование начала, продолжительности и затухания переходного компонента дает более точные прогнозы после точки перегиба.
Результат технически значим, потому что декомпозиция улучшает скрытую точность, оставаясь при этом интерпретируемой и проверяемой. Это предполагает повторно используемую гипотезу для открытия законов масштабирования: кажущееся обращение вспять может отражать временный режим, наложенный на долгосрочный тренд масштабирования.
Оценка II: NanoChat Autoresearch
Обучение с фиксированным бюджетом заставляет каждую идею доказывать свою ценность: улучшения должны достигаться за счет более эффективного использования того же времени и оборудования. Это делает NanoChat Autoresearch прямой проверкой того, может ли система ИИ превратить быстрые эксперименты в более совершенную реализацию обучения модели.
Выпущенный Андреем Карпати в марте 2026 года, NanoChat Autoresearch предоставляет агенту один GPU и свободу изменять архитектуру модели, оптимизатор, гиперпараметры и код обучения. Каждый эксперимент получает одинаковый пятиминутный бюджет и оценивается по валидационным битам на байт (val_bpb; чем ниже, тем лучше). С тех пор эта установка расширилась до autoresearch@home, где люди-участники и ИИ-агенты делятся экспериментами и соревнуются с лучшими публичными решениями.
В условиях фиксированного 300-секундного режима с одним B200 наша система ИИ достигает 0,892426 val_bpb, что ставит ее вблизи публичного фронтира. Это превосходит лучшую опубликованную единичную попытку Recursive SuperIntelligence от июня 2026 года (0,903891) и среднее по 10 запускам (0,9108745), а также результат Hyra от Tencent Hunyuan от июля 2026 года (0,901543). Это приближается к лидеру публичной таблицы лидеров по состоянию на сентябрь 2026 года, ScienceGuru от AutoTrust AI, с результатом 0,889522.
Рисунок 2: Сравнение валидационного BPB в условиях фиксированного 300-секундного бюджета обучения на одном B200. Чем ниже, тем лучше.
Решающее улучшение достигается за счет сохранения разреженности n-грамм во время вычислений обучения. Реализация ScienceGuru демонстрирует ценность больших n-граммных памяток, однако каждый пакет обращается лишь к небольшой части их строк. Наша система ИИ выявляет плотные затраты на градиенты, остающиеся в пути обучения, и заменяет их компактным обратным проходом, который обновляет только строки, используемые текущим пакетом.
Это изменение сокращает пиковую память обучения примерно с 177,7 ГБ до 140,6 ГБ — снижение на 20,9% — при сохранении качества, близкого к SOTA. В рамках того же 300-секундного бюджета наша система ИИ достигает 0,892426 val_bpb, обрабатывая при этом примерно на 4,5% меньше токенов, чем реализация ScienceGuru, показывая, что качество, близкое к SOTA, не зависит от более высокой пропускной способности токенов.
Наша система ИИ распространяет тот же принцип на весь путь доступа к памяти. Она объединяет два поиска в n-граммной таблице, конкатенацию, обнаружение активных строк и регистрацию строк в одно ядро Triton. Обратный проход напрямую повторно использует полученное отображение строк в слоты, устраняя дублирующую работу по индексации и сохраняя разреженность от поиска до обновления градиента.
Это сильный системный результат, потому что разреженная модель больше не платит цену плотных систем. Тот же принцип может быть перенесен на другие рабочие нагрузки, построенные вокруг больших таблиц эмбеддингов или памяти, когда каждый пакет затрагивает лишь небольшое подмножество строк.
Оценка III: GPUMode TriMul H100
После того как ядро GPU было сильно оптимизировано, оставшаяся задержка редко обнаруживается в самой очевидной операции. Узкие места перемещаются через границы слияния, компоновки тензоров и пути доступа к памяти, делая дальнейший прогресс проверкой способности обнаруживать узкие места не меньше, чем генерировать ядра.
Задача GPUMode TriMul нацелена на исходящее треугольное мультипликативное обновление, используемое в моделях структуры белков класса AlphaFold. Участники должны создать численно корректную реализацию, которая минимизирует среднее геометрическое время задержки для семи фиксированных форм ввода на NVIDIA H100. Задача привлекла сильные человеческие и автоматизированные решения, включая TTT-Discover, опубликованный в январе 2026 года исследователями из Stanford, NVIDIA, Astera Institute, UC San Diego и Together AI.
По семи формам H100 наша система ИИ достигает среднего геометрического времени задержки 1 036,1 мкс. В нашем парном сравнении на одной машине это улучшает самое сильное человеческое решение для сравнения, stashuk-olek (1 064,9 мкс), на 2,71%. Результат также численно ниже, чем отдельно сообщенные реализации от shiyegao CUDA (1 074 мкс), Zeyu Shen Triton (1 140 мкс) и TTT-Discover (1 161 мкс), приближаясь к отдельно сообщенным 1 030 мкс от K-Search в пределах 0,59%.
Рисунок 3: Среднее геометрическое время задержки для семи рабочих нагрузок GPUMode TriMul H100. Наша система ИИ достигает 1 036,1 мкс. Чем ниже, тем лучше.
Публичные значения взяты из соответствующих отчетов или записей оценок и не являются парными измерениями на одной машине. Наш результат 1 036,1 мкс измерен локально с использованием официального оценщика.
Существующие высокопроизводительные реализации TriMul уже используют слияние, специализированное матричное умножение, специализацию форм и перемещение данных с учетом компоновки. Наша система изначально продвигает слияние на стороне производителя дальше, затем обнаруживает убывающую и зависящую от формы отдачу по мере увеличения давления на регистры. В результате она смещает поиск в сторону того, как потребляется вывод производителя.
Для нескольких форм рабочей нагрузки наша система ИИ определяет границу BMM→LayerNorm как оставшийся источник задержки. Полученная реализация загружает выходные данные BMM вдоль непрерывного физического измерения и выполняет необходимую транспозицию в регистрах перед LayerNorm.
Результат технически значим, потому что наша система ИИ сама меняет гипотезу поиска: она распознает, когда оптимизация на стороне производителя насытилась, заново локализует узкое место на границе BMM→LayerNorm и соответствующим образом смещает цель оптимизации. Ее планы, зависящие от формы, также показывают, что система может адаптироваться по мере перемещения узких мест между рабочими нагрузками — способность, имеющая более широкую ценность, чем настройка фиксированного дизайна ядра.
Оценка IV: MLS-Bench — Ядро Fused Causal Attention (H100)
Внимание является основным узким местом вычислений и памяти при обучении и инференсе Transformer, поэтому его эффективность напрямую влияет на скорость и стоимость модели. Современные ядра fused-attention уже сильно оптимизированы, оставляя мало очевидного запаса; дальнейшие улучшения требуют пересмотра численного алгоритма наряду с планированием и перемещением памяти.
Задача Fused Causal Attention от MLS-Bench просит системы ИИ реализовать прямой проход fused self-attention на OpenAI Triton для NVIDIA H100, максимизировать пропускную способность для трех конфигураций causal-attention и поддерживать максимальную абсолютную ошибку ниже 1e-2. Бенчмарк включает результаты от передовых моделей, таких как Claude Opus 4.6, GPT-5.4 и Gemini 3.1 Pro, предоставляя сильные базовые линии от Anthropic, OpenAI и Google DeepMind.
По трем конфигурациям fused-attention наша система достигает 430,7; 468,4 и 451,7 TFLOP/s для размерностей головок 64, 128 и 256 соответственно. Эти результаты устанавливают новый рекорд по всем трем конфигурациям, улучшая предыдущие лидирующие результаты на 27,18%, 15,63% и 17,11% соответственно.
Рисунок 4: Сравнение пропускной способности для трех рабочих нагрузок fused causal attention от MLS-Bench.
Наибольшее улучшение было получено за счет упрощения пути online softmax. Стандартные реализации в стиле FlashAttention поддерживают текущий максимум и многократно перемасштабируют накопленную статистику softmax для численной стабильности. Наша автоматизированная исследовательская система обнаружила, что для рабочих нагрузок MLS-Bench масштабированные логиты внимания остаются в достаточно узком диапазоне, что позволяет удалить это повторное масштабирование, все еще удовлетворяя численному допуску бенчмарка.
Полученный softmax без перемасштабирования напрямую накапливает экспоненты и взвешенные значения и нормализует один раз в конце. Это улучшило пропускную способность на 21,0%, 8,5% и 19,3% для размерностей головок 64, 128 и 256 соответственно.
Дополнительные улучшения были получены за счет оптимизации специфичного для формы планирования и перемещения памяти, включая LPT-планирование и TMA. Путь без перемасштабирования был наиболее интересным результатом, потому что он изменил предположение внутри самого численного алгоритма: механизм стабильности, предназначенный для более широкого рабочего диапазона, оказался ненужным для оцениваемой рабочей нагрузки.
В более широком смысле, этот результат указывает на более широкую возможность: даже вблизи системного фронтира дальнейшие улучшения могут быть получены за счет пересмотра предположений, которые обычно считаются фиксированными. В данном случае автоматизированная исследовательская система Apex пошла дальше настройки параметров и расписаний существующего ядра: она определила численную защиту, которую можно безопасно опустить в рабочем режиме бенчмарка, и превратила это наблюдение в более быстрый путь выполнения. Это именно то поведение, которое нас интересует: использование поиска не только для оптимизации параметров и расписаний, но и для оспаривания структуры устоявшихся реализаций.
За пределами бенчмарков
Бенчмарк фиксирует результат. Рекурсивная система ИИ продвигает его вперед. По четырем бенчмаркам наша система исследований ИИ произвела подтвержденные улучшения передового уровня. Ее процесс следует четырехэтапному циклу: обнаружить ценное неизвестное, проверить решения-кандидаты, обучиться на доказательствах и улучшить следующий цикл. Следующий шаг — перенос, превращение специфичных для задачи достижений в повторно используемые знания, которые укрепляют последующие циклы.
Исследования рождают следующую S-образную кривую. Научное понимание, новые исследования и инженерные системы прокладывают новые пути, которые выполнение и масштабирование затем превращают в реальные отрасли промышленности. Когда одна S-образная кривая выходит на плато, дальнейший прогресс зависит от открытия следующей. Мы верим, что грядущая технологическая революция будет определяться ИИ, действующим как нативный исследовательский движок.
ИИ переходит от роли помощника к роли коллеги. Человеческое суждение и воображение направляют то, что важно; ИИ расширяет то, что можно исследовать. Вместе они могут открывать новые направления, вдохновлять на новые вопросы и строить более способные модели, создавая усиливающийся цикл между машинным открытием и человеческим воображением. Astra показывает, как далеко продвинулся ИИ. Что ведет его дальше? Способность помогать открывать то, что будет дальше.
Мы открываем эти результаты для вашего изучения, воспроизведения и расширения. Код, записи экспериментов, обнаруженные реализации и оценочные материалы теперь доступны на GitHub и нашем веб-сайте.
