Astra показує, як далеко зайшов ШІ. Що веде його далі?
Подальший прогрес найсучасніших моделей залежить від розумніших рішень до навчання, кращих стратегій під час навчання та ефективнішої інфраструктури, що лежить в основі обох цих етапів — роботи, яку досі значною мірою виконують дослідники-люди. Коли ШІ зможе самостійно вдосконалювати ці процеси, темпи прогресу фундаментально зміняться: кожне підтверджене досягнення посилюватиме наступний цикл.
Саме тому ми створили автоматизовану систему досліджень ШІ Apex Intelligence для пошуку та підтвердження вдосконалень у всьому стеку навчання ШІ.
Під час першої оцінки наша система досягла трьох нових офіційних SOTA на SLDBench SimpleTES, GPUMode TriMul (H100) та MLS-Bench Fused Causal Attention Kernel, причому її результат TriMul перевершив TTT-Discover від команди, до якої входили представники Stanford, NVIDIA та інших установ. На NanoChat Autoresearch її результат B200 перевершив опубліковані результати як Recursive SuperIntelligence, так і Hyra від Tencent Hunyuan, наблизившись до публічного SOTA для навчання LLM з фіксованим бюджетом.
Це демонструє, що автоматизована парадигма рекурсивних досліджень Apex працює на рівні найкращих людських інженерних рішень та найсучасніших автоматизованих систем — а в деяких випадках і перевершує їх — у прогнозуванні масштабування моделей, навчанні мовних моделей з фіксованим бюджетом та продуктивності GPU-ядер.
У межах кожного бенчмарку дослідницький цикл працює автономно: система визначає, що потрібно покращити, тестує свої ідеї, перевіряє результати та вчиться на отриманих даних. Ці результати передового рівня створюють міцніші стартові точки для наступних циклів — саме так удосконалення стає рекурсивним.
Оцінка I: SLDBench (Протокол SimpleTES з 4 завдань)
Перш ніж розпочати велике навчання, дослідники повинні передбачити продуктивність у масштабах, які вони не можуть дозволити собі тестувати безпосередньо. Закони масштабування визначають рішення щодо розміру моделі, складу даних, швидкості навчання, розміру пакету та обчислювальних ресурсів; закон, який добре працює на малих експериментах, але погано екстраполюється, може спрямувати весь бюджет навчання в неправильне русло.
SLDBench перетворює цю невизначеність на вимірюване завдання з відкриття, побудоване на основі понад 5 000 опублікованих експериментів з навчання LLM. Кожна система повинна створити символічний закон та процедуру підгонки, які узагальнюються на приховані режими масштабування. Дотримуючись чотиризавданнєвої оцінки, яку використовує SimpleTES, наша система ШІ тестується на паралельному масштабуванні, масштабуванні суміші доменів, спільному масштабуванні швидкості навчання/розміру пакету та U-подібному масштабуванні обчислень.
Використовуючи закріплені публічні оцінювачі, наша система покращує попередній публічний референс за кожним завданням, підвищуючи середній показник за чотирма завданнями з 0,8613 до 0,8846 (+2,71%). Найбільший приріст спостерігається на U-подібному масштабуванні, де показник зростає з 0,4975 до 0,5761 (+15,80%). Спільне масштабування швидкості навчання/розміру пакету покращується з 0,9506 до 0,9650 (+1,51%), з подальшим зростанням на паралельному масштабуванні та масштабуванні суміші доменів. Ці показники вимірюють продуктивність на прихованих режимах, винагороджуючи закони, які залишаються точними за межами експериментів, використаних для їх підгонки.
Рисунок 1: Наша система досліджень ШІ покращує попередній публічний референс за всіма чотирма вибраними завданнями SLDBench, підвищуючи середній показник на прихованих даних з 0,8613 до 0,8846. Найбільший приріст — на U-подібному масштабуванні. Вище — краще.
Найбільш очевидний прогрес на рівні методу спостерігається на U-подібному масштабуванні обчислень. Наша система ШІ представляє криву як суму постійного тренду масштабування та локалізованого режимного ефекту, який виникає в обмеженому діапазоні обчислень, а потім згасає. Ця структура запобігає безстроковому проектуванню тимчасового зворотного руху в спостережуваних даних.
Різниця стає вирішальною, коли оцінювач приховує фінальну фазу кривої. Гнучкі рівняння можуть відтворити спостережуваний вигин, але екстраполювати в неправильному напрямку; явне моделювання початку, тривалості та загасання перехідної складової дає точніші прогнози після точки перегину.
Результат є технічно значущим, оскільки декомпозиція покращує точність на прихованих даних, залишаючись при цьому інтерпретованою та перевіреною. Це свідчить про багаторазову гіпотезу для відкриття законів масштабування: очевидний зворотний рух може відображати тимчасовий режим, накладений на довгостроковий тренд масштабування.
Оцінка II: NanoChat Autoresearch
Навчання з фіксованим бюджетом змушує кожну ідею заробляти своє місце: покращення мають виникати завдяки ефективнішому використанню того самого часу та обладнання. Це робить NanoChat Autoresearch прямим тестом того, чи може система ШІ перетворити швидке експериментування на потужнішу реалізацію навчання моделі.
Випущений Андреєм Карпаті в березні 2026 року, NanoChat Autoresearch надає агенту один GPU та свободу змінювати архітектуру моделі, оптимізатор, гіперпараметри та код навчання. Кожен експеримент отримує однаковий п'ятихвилинний бюджет і оцінюється за валідаційними бітами на байт (val_bpb; менше — краще). Згодом ця установка розширилася до autoresearch@home, де учасники-люди та агенти ШІ діляться експериментами та змагаються з найкращими публічними рішеннями.
За фіксованих 300 секунд на одному B200, наша система ШІ досягає 0,892426 val_bpb, що ставить її близько до публічного фронтиру. Це перевершує найкращий опублікований одиночний запуск Recursive SuperIntelligence за червень 2026 року (0,903891) та їхнє середнє за 10 запусків (0,9108745), а також результат Hyra від Tencent Hunyuan за липень 2026 року (0,901543). Він наближається до лідера публічної таблиці лідерів станом на вересень 2026 року, ScienceGuru від AutoTrust AI, з показником 0,889522.
Рисунок 2: Порівняння валідаційного BPB за фіксованого 300-секундного бюджету навчання на одному B200. Нижче — краще.
Вирішальне покращення досягається завдяки перенесенню розрідженості n-грам через обчислення навчання. Реалізація ScienceGuru демонструє цінність великих пам'ятей n-грам, проте кожен пакет отримує доступ лише до невеликої частки їхніх рядків. Наша система ШІ виявляє щільні витрати на градієнти, які залишаються в шляху навчання, і замінює їх компактним зворотним проходом, який оновлює лише рядки, використані поточним пакетом.
Ця зміна скорочує пікову пам'ять навчання приблизно з 177,7 ГБ до 140,6 ГБ — зменшення на 20,9% — зберігаючи якість, близьку до SOTA. У межах того самого 300-секундного бюджету наша система ШІ досягає 0,892426 val_bpb, обробляючи приблизно на 4,5% менше токенів, ніж реалізація ScienceGuru, що показує: якість, близька до SOTA, не залежить від вищої пропускної здатності токенів.
Наша система ШІ поширює той самий принцип на весь шлях доступу до пам'яті. Вона об'єднує два пошуки в таблиці n-грам, конкатенацію, виявлення активних рядків та реєстрацію рядків в одне ядро Triton. Зворотний прохід безпосередньо використовує отримане відображення рядка в слот, усуваючи дублювання індексації та зберігаючи розрідженість від пошуку до оновлення градієнта.
Це сильний системний результат, оскільки розріджена модель більше не платить щільних системних витрат. Той самий принцип може бути перенесений на інші робочі навантаження, побудовані навколо великих таблиць вбудовувань або пам'яті, щоразу, коли кожен пакет торкається лише невеликої підмножини рядків.
Оцінка III: GPUMode TriMul H100
Коли ядро GPU вже значно оптимізовано, залишкова затримка рідко знаходиться в найочевиднішій операції. Вузькі місця переміщуються через межі злиття, макети тензорів та шляхи доступу до пам'яті, що робить подальший прогрес тестом на виявлення вузьких місць так само, як і на генерацію ядер.
Завдання GPUMode TriMul націлене на вихідний трикутний мультиплікативний оновлення, яке використовується в моделях структури білків класу AlphaFold. Учасники повинні створити чисельно коректну реалізацію, яка мінімізує середньогеометричну затримку для семи фіксованих вхідних форм на NVIDIA H100. Завдання привернуло сильні людські та автоматизовані рішення, включаючи TTT-Discover, опублікований у січні 2026 року дослідниками з Stanford, NVIDIA, Astera Institute, UC San Diego та Together AI.
На семи формах H100 наша система ШІ досягає середньогеометричної затримки 1 036,1 мкс. У нашому парному оцінюванні на тій самій машині це покращує найсильніше людське порівняння, stashuk-olek (1 064,9 мкс), на 2,71%. Результат також чисельно нижчий за окремо повідомлені реалізації від shiyegao CUDA (1 074 мкс), Zeyu Shen Triton (1 140 мкс) та TTT-Discover (1 161 мкс), при цьому відстаючи лише на 0,59% від окремо повідомленого результату K-Search у 1 030 мкс.
Рисунок 3: Середньогеометрична затримка для семи робочих навантажень GPUMode TriMul H100. Наша система ШІ досягає 1 036,1 мкс. Нижче — краще.
Публічні значення взяті з відповідних звітів або записів оцінювання і не є парними вимірами на тій самій машині. Наш результат 1 036,1 мкс виміряний локально з використанням офіційного оцінювача.
Існуючі високопродуктивні реалізації TriMul вже використовують злиття, спеціалізоване матричне множення, спеціалізацію форми та переміщення даних з урахуванням макету. Наша система спочатку просуває злиття на стороні виробника далі, а потім виявляє спадну віддачу та залежність від форми в міру збільшення тиску на регістри. Відповідно, вона зміщує пошук у бік того, як споживається вихід виробника.
Для кількох форм робочого навантаження наша система ШІ визначає межу BMM→LayerNorm як джерело залишкової затримки. Отримана реалізація завантажує виходи BMM вздовж суміжної фізичної розмірності та виконує необхідне транспонування в регістрах перед LayerNorm.
Результат є технічно значущим, оскільки наша система ШІ змінює саму гіпотезу пошуку: вона розпізнає, коли оптимізація на стороні виробника наситилася, перелокалізує вузьке місце через межу BMM→LayerNorm і відповідно зміщує ціль оптимізації. Її плани, залежні від форми, додатково показують, що система може адаптуватися в міру переміщення вузьких місць між робочими навантаженнями — здатність, яка має ширшу цінність, ніж налаштування фіксованого дизайну ядра.
Оцінка IV: MLS-Bench — Злите ядро причинної уваги (H100)
Увага є основним вузьким місцем обчислень та пам'яті під час навчання та інференсу Transformer, тому її ефективність безпосередньо впливає на швидкість та вартість моделі. Сучасні злиті ядра уваги вже високо оптимізовані, залишаючи мало очевидного простору для покращення; подальший приріст вимагає перегляду чисельного алгоритму разом із плануванням та переміщенням пам'яті.
Завдання MLS-Bench "Fused Causal Attention" просить системи ШІ реалізувати прямий прохід злитої самоуваги OpenAI Triton на NVIDIA H100, максимізувати пропускну здатність для трьох конфігурацій причинної уваги та підтримувати максимальну абсолютну похибку нижче 1e-2. Бенчмарк включає результати від передових моделей, таких як Claude Opus 4.6, GPT-5.4 та Gemini 3.1 Pro, забезпечуючи сильні базові лінії від Anthropic, OpenAI та Google DeepMind.
Для трьох конфігурацій злитої уваги наша система досягає 430,7; 468,4 та 451,7 TFLOP/s для розмірів головок 64, 128 та 256 відповідно. Ці результати встановлюють новий рекорд для всіх трьох конфігурацій, покращуючи попередні найкращі результати на 27,18%, 15,63% та 17,11% відповідно.
Рисунок 4: Порівняння пропускної здатності для трьох робочих навантажень MLS-Bench зі злитою причинною увагою.
Найбільше покращення досягнуто завдяки спрощенню шляху онлайн softmax. Стандартні реалізації FlashAttention підтримують поточний максимум і багаторазово перемасштабовують накопичену статистику softmax для чисельної стабільності. Наша автоматизована дослідницька система виявила, що для робочих навантажень MLS-Bench масштабовані логіти уваги залишаються в достатньо вузькому діапазоні, що дозволяє видалити це багаторазове перемасштабування, все ще задовольняючи чисельний допуск бенчмарку.
Отриманий softmax без перемасштабування безпосередньо накопичує експоненти та зважені значення і нормалізує один раз в кінці. Це покращило пропускну здатність на 21,0%, 8,5% та 19,3% для розмірів головок 64, 128 та 256 відповідно.
Додатковий приріст отримано завдяки оптимізації специфічного для форми планування та переміщення пам'яті, включаючи планування LPT та TMA. Шлях без перемасштабування був найцікавішим результатом, оскільки він змінив припущення всередині самого чисельного алгоритму: механізм стабільності, призначений для ширшого робочого діапазону, виявився непотрібним для оцінюваного робочого навантаження.
У ширшому сенсі цей результат вказує на більшу можливість: навіть поблизу системного фронтиру подальший приріст може бути досягнутий завдяки перегляду припущень, які зазвичай вважаються фіксованими. У цьому випадку автоматизована дослідницька система Apex пішла далі, ніж просто налаштування параметрів та планів існуючого ядра: вона визначила чисельний захист, який можна безпечно опустити в робочому режимі бенчмарку, і перетворила це спостереження на швидший шлях виконання. Це саме той тип поведінки, який нас цікавить: використання пошуку не лише для оптимізації параметрів та планів, але й для оскарження структури усталених реалізацій.
За межами бенчмарків
Бенчмарк фіксує результат. Рекурсивна система ШІ несе його далі. На чотирьох бенчмарках наша система досліджень ШІ створила підтверджені покращення передового рівня. Її процес слідує чотириетапному циклу: виявити високоцінну невідомість, перевірити кандидатські рішення, навчитися на основі доказів та покращити наступний цикл. Наступний крок — перенесення: перетворення специфічних для завдання досягнень на багаторазові знання, які посилюють наступні цикли.
Дослідження народжують наступну S-криву. Наукове розуміння, нові дослідження та інженерні системи прокладають нові шляхи, які виконання та масштаб потім перетворюють на реальні галузі промисловості. Коли одна S-крива досягає плато, подальший прогрес залежить від відкриття наступної. Ми віримо, що майбутня технологічна революція буде визначена ШІ, який діятиме як природний дослідницький двигун.
ШІ переходить від ролі помічника до ролі колеги. Людське судження та уява визначають, що важливо; ШІ розширює межі того, що можна дослідити. Разом вони можуть відкривати нові напрямки, надихати на нові запитання та будувати більш потужні моделі — створюючи підсилюючий цикл між машинним відкриттям та людською уявою. Astra показує, як далеко зайшов ШІ. Що веде його далі? Здатність допомагати відкривати те, що буде далі.
Ми відкриваємо ці результати для вашого перегляду, відтворення та розширення. Код, записи експериментів, виявлені реалізації та матеріали оцінювання тепер доступні на GitHub та нашому веб-сайті.
