LLM-інференс — минуле, сьогодення та майбутнє: куди переміщується цінність?
Упродовж останніх двох років LLM-інференс був одним із найбільш конкурентних рівнів у ШІ-інфраструктурі. Десятки провайдерів інференсу, GPU-хмар, відкритих проєктів і виробників чипів переслідували одну й ту саму мету: обслуговувати натреновану модель швидше та дешевше, ніж конкурент.
Привабливість ґрунтувалася на правдоподібній ідеї. Інференс виглядав як програмна проблема з програмним ровом захисту. Кращі ядра, розумніший планувальник або потужніше спекулятивне декодування могли забезпечити преміальне ціноутворення або кращу маржу за тієї самої ціни. Якийсь час власний рушій був справжньою конкурентною зброєю, а бенчмарки вигравали угоди.
Цей період завершується. Інференс важливий як ніколи, а ринок продовжує зростати, але стійка конкурентна цінність перемістилася від рушія. Рівень рушіїв швидко комодитизується. Цінність зміщується спершу в операції та платформи обслуговування, а потім — у капітал, GPU-потужності та зрештою в самі дата-центри.
Продуктивність програмного забезпечення досі має значення. Повільний або ненадійний рушій може дискваліфікувати провайдера. Однак хороша продуктивність стала широкодоступною, тому будь-якій окремій компанії дедалі важче брати за неї гроші. Питання вже не в тому, чи створює рушій цінність, а в тому, хто захоплює цю цінність, коли рушій стає звичайною інфраструктурою.
Три покоління апаратного забезпечення роблять це зрушення очевидним. Та сама закономірність пояснює конкуренцію серед провайдерів інференсу сьогодні та те, куди вона рухатиметься далі.
Частина I: Минуле — коли рушій був ровом захисту
Три покоління, три контрольні списки
Кожне покоління апаратного забезпечення NVIDIA супроводжувалося контрольним списком для власного рушія. Змінювалося те, як швидко цей список ставав загальновідомим, і як мало переваг залишалося після того, як усі його виконували.
Епоха Ampere (A100). Початкова планка була конкретною. Рушій, який підтримував CUDA Graphs для усунення оверхеду запуску, впроваджував спекулятивне декодування на кшталт EAGLE-1 або Medusa та мав надійне W8A8 INT8-квантування, випереджав більшість конкурентів. Інженерна робота була складною, але обмеженою, і виконання цього короткого списку виводило провайдера в топ-рівень. Ці функції вигравали угоди.
Епоха Hopper (H100/H200). Список зріс і розділився на дві частини. Для одиночного розгортання — одна репліка, один вузол або кілька — диференціаторами були FlashAttention-3, FP8-увага, спекулятивне декодування EAGLE-3 та W8A8 FP8-квантування. Сильні реалізації давали видатні результати на одному вузлі.
Hopper також відкрив другий фронт у розділеному (disaggregated) розгортанні. Підтримка PD-розділення (prefill–decode), експертного паралелізму (EP) для дедалі домінантніших MoE-архітектур та вивантаження KV-кешу в ієрархію пам'яті мала значення в масштабі кластера, де жили найбільші контракти. Цей рівень вимагав як системної інженерії, так і роботи з ядрами. Якийсь час він відділяв найсильніших провайдерів від решти.
Два рівні винагороджували різні компетенції. Команди ядер усе ще могли вигравати бенчмарки на ізольованому розгортанні, тоді як найбільші виробничі навантаження вимагали координації між машинами, пулами пам'яті та доменами відмов. Цей другий рівень був складнішим для копіювання та давав провайдерам більше часу для перетворення інженерної роботи на дохід.
Епоха Blackwell (B200/B300/GB200/GB300). Тут контрольний список звузився до одного головного пункту: оптимізація NVFP4. Провідний шлях — це вже не незалежна реалізація. Команди інтегрують trtllm-gen cubins від NVIDIA або будують безпосередньо на TensorRT-LLM. Спекулятивне декодування, шляхи FP8 і FP4, підтримка розділення та MoE-паралелізм уже включені в референсний стек.
Blackwell змінює рішення «створювати чи купувати». Побудова стека колись демонструвала технічну глибину; тепер це може означати відтворення роботи вендора, тим часом як конкуренти використовують тих самих інженерів в інших місцях. Власницька реалізація все ще може підходити для незвичайної моделі або розгортання, але вона більше не є стандартним шляхом до провідної продуктивності.
В інференсі немає секретів. Кожна важлива техніка має статтю, відкриту реалізацію або вендорський бінарний файл. Знання, які колись циркулювали серед кількох команд продуктивності, тепер упаковані в код, який будь-яка компетентна група може вивчити або інтегрувати. Контрольний список усе ще кваліфікує рушій, але більше не вирізняє його.
Чому TRT-LLM став базовим рівнем для Blackwell
Позиція TensorRT-LLM в епоху Blackwell випливає зі стимулів на обох сторонах ринку.
NVIDIA потрібно, щоб TRT-LLM добре працював. Це програмне забезпечення лежить в основі бенчмарків нового обладнання, включно з InferenceX-сабмішенами, заявами в день запуску та результатами для кіноутів. Тому оптимізації для нового чипа з'являються в TRT-LLM у день перший, за підтримки великої організації інженерів ядер і потужного рантайму.
Незалежні рушії не можуть відтворити цю перевагу самими лише зусиллями. NVIDIA бачить дорожню карту обладнання, контролює найнижчі програмні шари та має прямий комерційний інтерес зробити кожне покоління сильним на старті. TRT-LLM — це точка, де ці стимули сходяться.
Водночас кілька передових родин відкритих моделей (open-weight) тепер забезпечують переважну більшість серйозного виробничого трафіку. Провайдери мають меншу потребу підтримувати сотні архітектур. З огляду на вужчий набір моделей і обладнання Blackwell, TRT-LLM пропонує найвищу доступну стелю продуктивності. Ширина підтримки моделей — традиційний аргумент для універсального рушія — має менше значення, коли сам попит звузився.
Виробництво тепер винагороджує спеціалізацію. Рушій, який добре справляється з довгим хвостом, корисний, але провайдер заробляє більшість доходу на моделях, які клієнти реально запитують. На невеликій матриці популярних моделей і поточного обладнання NVIDIA пікова продуктивність переважує архітектурну ширину.
Із середини 2025 року дедалі більше команд інференсу припинили підтримувати повністю незалежні рушії та перейшли до вторинної розробки на основі TRT-LLM. Його постійна слабкість — зручність використання. Досвід розробника є грубуватим, але команда, якій платять за вичавлювання останніх 20% із GPU-флоту, терпітиме складний інструментарій. Зручність використання розриває паритет; але TRT-LLM на Blackwell не має рівних, між якими треба було б обирати.
Ці команди не припинили інженерну роботу. Вони досі налаштовують моделі, патчать поведінку рантайму та будують виробничі системи навколо рушія. Змінився рівень, з якого вони починають. Старт із базового рівня NVIDIA спрямовує більше зусиль на їхнє робоче навантаження та менше на відтворення загальної машинерії.
Прискорювач: кодингові агенти
Конвергенція відкритого коду та вертикальний тиск NVIDIA вже скорочували життя власницьких переваг. За останні шість місяців кодингові агенти скоротили його ще більше, знизивши вартість інженерії інференсу.
Робота з ядрами, зміни в рантаймі та інфраструктура обслуговування — усе це можна завершувати швидше з підтримкою ШІ. Intent Lab витратив близько тижня, працюючи з агентами на TRT-LLM, щоб випустити оптимізації, які дали дуже значні наскрізні покращення. Раніше робота такого масштабу могла зайняти окремого інженера на цілий квартал.
Економіка власницької роботи над рушієм змінюється з такою швидкістю. Техніка, яка потребувала шість інженеро-місяців і купувала дев'ять місяців ексклюзивності, могла виправдати інвестицію. Якщо на створення йде два тижні, а конкуренти відтворюють її за три, результат — це не рів захисту, а бігова доріжка. Робота залишається технічно складною, але корисний термін життя переваги наближається до нуля.
Економічно важливо, як довго триває лідерство. Складна оптимізація все ще може бути комерційно слабкою, якщо вона поширюється раніше, ніж компанія окуповує витрати на її створення. Кодингові агенти не роблять інженерію тривіальною; вони пришвидшують закінчення ексклюзивності.
Що залишається відкритим рушіям: спільнота, зручність і дуже мало лояльності
vLLM, SGLang та інші відкриті рушії обслуговують ринок, який залишив відкритим грубуватий досвід розробника TRT-LLM. Багато користувачів поза провайдерами з виділеними командами інференсу — це дослідники або ті, хто запускає офлайн-генерацію: пакетні навантаження, орієнтовані на пропускну здатність, а не латентно-чутливе онлайн-обслуговування. У таких умовах розрив у продуктивності з TRT-LLM є помірним, часто незначним.
Ці користувачі оптимізують під інший робочий процес. Їм потрібно швидко підняти модель, змінювати архітектури без переписування стека та знаходити відповіді, коли щось ламається. Кілька відсоткових пунктів пропускної здатності рідко виправдовують дні, витрачені на боротьбу з рантаймом, особливо коли навантаження не має інтерактивної мети за латентністю.
Прийняття натомість залежить від простоти використання, документації та спільноти. Встановіть пакет, вкажіть на репозиторій Hugging Face і відкрийте OpenAI-сумісну кінцеву точку. Для дослідника або конвеєра пакетної генерації — це все рішення про покупку.
Прийняття — це не лояльність. Стандартизація на OpenAI-сумісному API зводить зміну рушія в найпростішому випадку до зміни base_url. Команда може запустити vLLM сьогодні, спробувати SGLang завтра та порівняти обидва пізніше цього тижня. Відкриті рушії мають продовжувати конкурувати за навантаження, які вони вже виграли.
Користувачі виграють від такої портативності; проєкти, які прагнуть довготривалого контролю, — ні. Розмір спільноти може привабити навантаження, а документація — утримати його на деякий час, але жодне з них не завадить команді повторити порівняння, коли конкурент випустить швидшу версію.
Справжні витрати на перехід з'являються в онлайн-продакшені. Вони походять від моніторингу та сповіщень, конвеєрів розгортання, відновлення після збоїв, автоматичного відновлення після відмов, накопичених виправлень багів і довгого хвоста виробничих крайових випадків. Саме лише парсинг викликів інструментів дає чимало таких випадків. Цей операційний рівень створює lock-in, але це радше міграційне тертя, ніж рів захисту за можливостями. Компетентна команда може відтворити це навколо іншого рушія за тижні. Що важливіше, ці знання належать SRE-організації користувача, тому рушійний проєкт не отримує з них нічого.
Комерційно, операційні знання роблять розгортання липким, не даючи вендору рушія цінової влади. Користувач несе витрати на міграцію та володіє більшістю навколишніх систем. Навіть там, де заміна є клопіткою, сам рушій не закріпив клієнта.
Відкритий код як суспільне благо
Основні відкриті рушії значною мірою прийняли цю роль. vLLM і SGLang повертають майже всю свою роботу спільноті. Їхня стратегічна мета — прийняття; результат — постійно кращий безкоштовний базовий рівень за функціями, продуктивністю та стабільністю. На практиці екосистема субсидує найсучасніший інференс для всіх.
Це має ціну для самих проєктів. Кожне покращення базового рівня звужує простір для диференціації, зокрема для власних рушіїв і відкритих рушіїв, які зробили це покращення. Піднімаючи планку, ці проєкти також стискають цінність власного рівня.
Ознака: рушійні компанії рухаються вгору по стеку
Поведінка авторів рушіїв дає найчіткіший доказ того, що рушій сам по собі не може захопити багато цінності.
Компанії, що стоять за двома провідними відкритими рушіями, почали брати виробничу роботу з обслуговування, за повідомленнями, підписуючи інференс-контракти з відомими модельними лабораторіями та споживчими платформами. Їхнє заявлене обґрунтування має сенс: запуск продакшену — це найшвидший спосіб виявити збої, з якими рушій має впоратися. Використання власного продукту в масштабі знаходить крайові випадки.
Це також ставить ці компанії в конкуренцію з провайдерами, які колись були їхніми найважливішими користувачами та адвокатами. Проєкт забезпечує прийняття, а контракти на обслуговування приносять дохід. Ці ролі складно поєднати, коли користувачі проєкту продають ту саму послугу.
Рушійні компанії, зі зрозумілих причин, обережні з ярликом «провайдер». Їхня екосистема залежить від компаній, які хочуть нейтральний апстрім-проєкт, а не субсидованого конкурента. Але щойно рушійна компанія запускає продакшен для клієнтів, перетин стає реальним незалежно від того, як описують цю роботу.
Перехід в обслуговування говорить більше, ніж супровідне пояснення. Автори рушіїв не очікують, що рівень рушія самостійно підтримуватиме бізнес. Питання в тому, чи є обслуговування більш захищеним.
Частина II: Сьогодення — що насправді вирізняє провайдерів
Реальні переваги чинних гравців не мають нічого спільного з ядрами
Довготривалі переваги провідних провайдерів інференсу, таких як Together AI, Fireworks і Baseten, не з'являються в бенчмарках рушіїв.
Перевага першого гравця та бренд. Коли модельній лабораторії потрібен партнер для запуску або AI-нативному стартапу потрібен виробничий інференс, ці компанії потрапляють у перший шорт-лист. Майндшер звучить невагомо, доки не вирішує контракт за контрактом. Стандартний розгляд у швидкому ринку вартий більше, ніж вузьке лідерство в бенчмарках.
Платформа. Роки роботи накопичені в інструментах розгортання, спостережуваності, корпоративних контролях і комплаєнсі. Новий гравець має відбудовувати цю поверхню шматок за шматком, тим часом як чинні гравці продовжують її розширювати.
Жодна з цих функцій не виграє публічний рейтинг швидкості, але разом вони вирішують, чи зможе клієнт перевести навантаження в продакшен. Вони також накопичуються. Кожне розгортання виявляє ще один відсутній контроль або режим відмови, і виправлення стає частиною платформи, яку пропонують наступному клієнту.
GPU-потужності та їхній ланцюг постачання. Це найважча та найменш обговорювана перевага. Провайдери мають забезпечувати алокації між поколіннями обладнання, вести переговори з хмарами та неохмарами, керувати гетерогенними флотами та планувати потужності проти нерівномірного попиту. Чинні гравці навчилися робити це під навантаженням. Коли надходить великий контракт, вирішальне питання часто не в тому, чий рушій швидший, а в тому, хто зможе запустити тисячі GPU наступного місяця.
Пізні гравці реагують на цю економіку. Modal запустив інференс-сервіс. Nebius придбав Eigen AI, щоб додати обслуговування до своєї хмари. Інференс несе кращу маржу, ніж сирі GPU-години, тому GPU-хмари рухаються вгору, тоді як рушійні компанії заходять в обслуговування знизу. Провайдери, хмари та рушійні компанії сходяться на одному рівні, тому що саме там зараз збирається цінність.
Кожна група починає з різної переваги. Рушійні компанії приносять програмну експертизу, GPU-хмари — потужності, а усталені провайдери — клієнтів і операційний досвід. Їхній рух до того самого продукту робить решту відмінностей легшими для розуміння: дистрибуція, капітал і здатність запускати надійний сервіс у масштабі.
Чому рейтинги TPS для малих батчів зникнуть
Рейтинг швидкості виводу за малого паралелізму на Artificial Analysis досі привертає увагу, і роками він був чесним проксі для інженерної якості. З кожним циклом обладнання він говорить усе менше. Стандартні API-тести використовують або один запит, або десять паралельних запитів. За такого навантаження провайдер може поєднати новіше обладнання з навантажувально-чутливим спекулятивним декодуванням, як-от DSpark, витрачати більше батч-потужності на кожен запит, поки машина в іншому випадку простоює, і показувати надзвичайний per-user TPS. Це число реальне, але вузьке: воно показує, як швидко слабо навантажена кінцева точка може видавати токени одного користувача, а не те, наскільки ефективно флот обслуговує бізнес.
Продакшен має іншу мету. По-перше, тримати per-user TPS вище рівня, якого вимагає застосунок. По-друге, максимізувати загальну кількість токенів за хвилину на GPU (TPM/GPU), не опускаючись нижче цієї планки. Щойно користувацький досвід стає достатньо швидким, ще один інкремент слабо навантаженого TPS може коштувати набагато менше, ніж обслуговування більшої кількості одночасних користувачів на тому самому GPU. Вартість за доставлений токен важливіша за заголовковий рейтинг.
Спекулятивне декодування загострює цю відмінність. Робота верифікації, яка є дешевою за малого батчу, може споживати цінну батч-потужність під час конкурентного навантаження, тому конфігурація, налаштована на найвищий слабо навантажений TPS, не обов'язково лежить на найкращій виробничій кривій вартості. Корисний результат — це межа Парето: per-user TPS на одній осі та TPM/GPU на іншій, де мінімальна швидкість застосунку обирає робочу точку, а вартість за токен випливає з неї.
Малобатчевий TPS не є марним. Він встановлює планку інтерактивності та виявляє кінцеві точки, які явно занадто повільні. Власне тестування Artificial Analysis зі зростаючим паралелізмом вказує в кориснішому напрямку, вимірюючи, що система загалом може витримати. Зникне читання «переможець забирає все» з малобатчевого рейтингу. Виробничі покупці менше дбатимуть про те, хто показує найвищий TPS, і більше про те, скільки платного трафіку несе кожен GPU, поки per-user TPS залишається вище необхідної планки. Це мініатюрна версія патерну цієї статті: найпомітніше число перестає передбачати, куди йдуть гроші.
Підтримка Day-0: рів захисту відносин міцнішає
Зміна 2026 року ще більше зміцнила чинних гравців: розробники моделей дедалі частіше партнеряться з провайдерами інференсу безпосередньо.
Підтримка Day-0 колись йшла через відкриті рушії. Перед запуском лабораторія координувалася з vLLM або SGLang; рушій вливав підтримку; провайдери нижче за течією підхоплювали її. Це давало відкритим рушіям центральне місце в ланцюгу дистрибуції.
Стара залежність згасає. Великі лабораторії тепер надають провайдерам інференсу ранній доступ перед релізом, іноді раніше, ніж командам відкритих рушіїв. Лабораторії потрібно більше, ніж влитий pull request у день запуску. Їй потрібна налаштована та протестована під навантаженням виробнича потужність із SLA. Провайдер може доставити весь пакет; рушій постачає лише його перший компонент.
Ранній доступ — це відносини, а не опублікована техніка, тому конкуренти не можуть відтворити його зі статті чи ядра. Лабораторії надають його партнерам, яким уже довіряють, посилюючи провайдерів, які вже мають бренд і потужності. Відкриті рушії тим часом втрачають своє місце на передовій релізного конвеєра. Провайдери дедалі частіше очолюють роботу Day-0, а рушії йдуть слідом.
Успішний запуск підвищує ймовірність того, що провайдер отримає ранній доступ до наступного, а ранній доступ знову покращує його шанси. На відміну від оптимізації, відносини не стають доступними решті ринку після публікації.
Ендшпіль на рівні обслуговування: гра в капітал
Щойно конкуренти досягають рівня обслуговування, вони стикаються зі спільною планкою. Правдоподібний провайдер має тримати свій SLA під тиском, забезпечувати латентність топ-рівня та зберігати точність. Це складні операційні вимоги, і вони відділяють провайдерів від GPU-реселерів. Вони також є вхідним квитком: їх виконання дає доступ, а невиконання усуває провайдера з гри.
Спільні рушії та публічні техніки підтягують серйозних провайдерів до порівнянної продуктивності, надійності та ціноутворення. Вище цієї лінії вирішальною змінною стає GPU-потужність. Іншими словами, змагання перетворюється на змагання за капітал.
Маховик прямий. Капітал забезпечує GPU-потужності. Потужності дозволяють укладати більші контракти з модельними лабораторіями та підприємствами, від яких обмежені конкуренти змушені відмовлятися. Ці контракти приносять обсяг інференсу та ARR. Вищий ARR підтримує більший раунд фінансування та оцінку, яка оплачує наступний блок потужностей.
Готовий флот також змінює розмову про продаж. Клієнт, який обирає провайдера для великого запуску, не може покладатися на потужності, які можуть з'явитися пізніше. Йому потрібні зарезервовані, під'єднані до мережі та готові машини. Провайдер, який може виділити ці ресурси, має перевагу ще до того, як латентність і ціна токенів увійдуть у переговори.
Для інженерів це неприємний результат. Ендшпіль обслуговування виглядає менше як програмне змагання і більше як капіталомістка інфраструктура, ближча до ранніх хмарних обчислень, авіаліній або телекомів. Операційна досконалість визначає виживання; доступ до капіталу визначає масштаб.
Операції досі відділяють життєздатні компанії від збанкрутілих. Погана утилізація, слабка надійність або погане планування потужностей можуть знищити добре фінансованого провайдера. Але щойно кожен серйозний конкурент досягає технічної планки, ще одне покращення ядра не може замінити балансовий звіт, необхідний для прийняття наступного великого контракту.
Ринок уже рухається цим шляхом. Провідні провайдери залучили великі раунди та побачили, як їхні оцінки зросли за останній рік. Інвестори платять за позицію в гонитві за потужностями, а не за інженерію ядер.
Частина III: Майбутнє — цінність осідає в бетоні
Прогноз: вони всі куплять дата-центри
Капітальна логіка вказує на власність. За достатнього масштабу компанія, чия собівартість домінується GPU та електроенергією, втрачає маржу щоразу, коли орендує обчислювальні потужності або простір у дата-центрі. Кожен орендований рівень передає частину валової маржі на інший балансовий звіт.
Тому провідні провайдери інференсу купуватимуть або придбаватимуть дата-центри, включно з приміщеннями та контрактами на електроенергію під ними, а не зупинятимуться на GPU-алокаціях чи довгострокових хмарних зобов'язаннях. Зібрані ними воєнні скарбниці не мають сенсу за жодного іншого ендшпілю.
Провайдер інференсу починав як програмна компанія, чиїм продуктом був рушій. Він став компанією керованих послуг, що продає платформу та SLA. Тепер він стає інфраструктурною компанією, що продає потужності. Упродовж цієї еволюції цінність перемістилася від ядер до операцій обслуговування, а потім до сталі, землі та угод на купівлю електроенергії.
Кожен крок змінює навички та економіку компанії. Ітерації програмного забезпечення поступаються місцем управлінню флотом, закупівлям, фінансуванню та енергетичній стратегії. Інтерфейс може залишатися API, але бізнес під ним стає важчим і більш залежним від утилізації.
Історія почалася з втрати програмного рову захисту. Вона завершується тим, що ті самі компанії конкурують за найстаріші рови захисту у світі: землю, енергію та капітал. Рів захисту ніколи насправді не був у програмному забезпеченні.
Досі «провайдери інференсу», ніколи не «неохмари»
Навіть після купівлі дата-центрів ці компанії продовжуватимуть називати себе провайдерами інференсу, а не неохмарами. Ринки капіталу присуджують вищий мультиплікатор AI-інфраструктурній компанії, яка продає токени, ніж неохмарі, яка здає GPU-години в оренду.
Під цим ярликом вони нагадуватимуть новий вид неохмари: та сама активомістка основа з іншим інтерфейсом, що продає токени, SLA та API замість голих GPU. Компанії на кшталт CoreWeave спочатку побудували активну базу та рухаються в бік обслуговування. Компанії на кшталт Fireworks спочатку побудували інтерфейс та рухаються в бік активної бази. Обидва шляхи ведуть до однакової корпоративної форми; точка старту визначає ярлик і мультиплікатор, прив'язаний до нього.
Продаж через API змінює пакування. Токени об'єднують програмне забезпечення, операції та потужності в продукт, який клієнт може споживати безпосередньо. GPU-години оголюють більше базового товару. Дві компанії можуть володіти подібними активами, але отримувати дуже різні оцінки, тому що одна упакувала ці активи вище в стеку.
Вони володітимуть дата-центрами та все одно називатимуть себе провайдерами інференсу, тому що ярлик вартий більше, ніж будівля.
Справжній конкурент наближається знизу
Якщо пункт призначення — це капіталомісткий токенний бізнес із власними дата-центрами, то ранжування поточних гравців за відстанню до нього змінює конкурентну картину.
Together AI, Fireworks і Baseten мають бренди, платформи та контракти. Їм усе ще потрібно побудувати або купити активну базу приміщень, енергії та ланцюга постачання неохмарного масштабу, усе це обмежено багаторічними термінами будівництва та підключення електроенергії.
Nebius уже володіє дата-центрами та керує власним GPU-ланцюгом постачання. Як публічна компанія, він також має канал фінансування, який приватні провайдери можуть наблизити лише через повторювані великі раунди. Його бракуючим елементом був рівень обслуговування. Придбання Eigen AI принесло програмне забезпечення та команду, а сфокусований рік закриває більшість програмного розриву, тому що в інференсі немає секретів.
Навпаки, софт-орієнтований провайдер не може стиснути фізичний графік так само. Енергетичні з'єднання, будівництво та доставка обладнання йдуть за багаторічними графіками. Капітал може забезпечити місце в цих чергах, але він не може перетворити їх на цикл релізів програмного забезпечення.
Програмне забезпечення можна додати до бази активів набагато швидше, ніж базу активів — до софтверної компанії. Комодитизація рушіїв допомогла провайдерам зростати, але вона ж озброює їхнього найнебезпечнішого конкурента.
Найбільший суперник Together AI, Fireworks і Baseten — це не інший провайдер. Це Nebius, а за ним — будь-яка неохмара, готова піднятися вгору по стеку.
Куди йдуть інженерні години натомість
Інженерія інференсу й надалі матиме значення всередині провайдерів, але її розподіл зміниться. Відкриті рушії роблять цей перерозподіл можливим.
У міру того, як базовий рівень безкоштовних рушіїв покращується, провайдери можуть перемістити дорогі інженерні години з ядер і рантаймів. Ці години йдуть на надійність інфраструктури, що надає SLA реального змісту; на досвід користування платформою, що сприяє поновленню підписок; і дедалі більше — на RL. Прогони навчання з підкріпленням потребують інтенсивного інференсу, тому експертиза в сервінгу безпосередньо переноситься в інфраструктуру RL для зростаючого ринку пост-тренування.
Провайдери не відступають від технічної роботи. Надійність гетерогенного парку, швидке відновлення під навантаженням та ефективні прогони RL — це складні системні проблеми. Їхні рішення залишаються ближчими до клієнтів та операцій провайдера, що робить їх кориснішими як джерела диференціації.
Цінність у шарі рушіїв не зникла. Відкритий код інтегрував її в безкоштовний фундамент, дозволяючи інженерній цінності мігрувати в системи, побудовані над ним. Стратегічне питання для більшості компаній більше не полягає в тому, чи будувати власний рушій. Воно в тому, куди витратити час, який економить безкоштовний рушій. Ті, хто виграє від відкритого коду як суспільного блага, тепер з'являються в дорожніх картах інших компаній.
Історія ще не закінчена
Ендшпіль залишається невизначеним. Vera Rubin, MI455, LPU та інше апаратне забезпечення, орієнтоване на інференс, перезапишуть чекліст, як це робив кожен попередній апаратний перехід. Кожне таке перезавантаження ненадовго відкриває простір для диференціації рушіїв через нові числові формати, ієрархії пам'яті та компроміси паралелізму. Потім техніки поширюються, і вікно зачиняється.
Нові архітектури моделей і робочі навантаження створюватимуть подібні вікна можливостей. Агенти з великими повторно використовуваними контекстами та RL у виробничих масштабах накладають нові обмеження. Комодитизація рушіїв — це циклічний процес. Інтервал між винаходом і поширенням скорочується, але не зник.
Під час кожного такого вікна швидка команда все ще може виграти значний бізнес. Тимчасові переваги мають значення, коли вони з'являються разом із великим апаратним або модельним переходом, оскільки дохід і стосунки з клієнтами можуть зберегтися після того, як конкуренти наздоженуть. Змінилося те, скільки часу доступно для розпізнавання й використання цього вікна.
Рушії та провайдери досі стикаються з двома випробуваннями. Перше — швидкість реакції: чи встигнуть вони скористатися переходом, поки перевага ще доступна? Кожне покоління залишало позаду добре керовані компанії, які запізнилися на один апаратний цикл. Команди, які рано зробили ставку на дезагрегацію або економіку NVFP4 від Blackwell, отримали тимчасові, але кумулятивні вигоди.
Друге випробування — фінансове: чи зможуть вони зберегти маржу, поки ARR зростає? Провайдер може зафіксувати більший дохід і втратити більше грошей, купуючи зростання за рахунок продажу потужностей за заниженими цінами. У міру загострення конкуренції та наближення валової маржі до економіки інфраструктури операційна дисципліна стає умовою виживання. Утилізація парку, витрати на електроенергію, прогнозування попиту, планування потужностей і баланс між доходами від зарезервованих і спотових ресурсів визначать наступну групу переможців. Залучити мільярди — це лише початок; витратити ці мільярди з розумом — це мистецтво.
Цінність на цьому ринку постійно переміщується: від моделей до рушіїв, від рушіїв до сервінгу, і від сервінгу до потужностей та електроенергії. Вона залишає по собі шари, де не існує стійкого рову. Наступні переможці розпізнають цей зсув раніше, ніж чекліст стане загальновідомим.
