Ми раді партнерству з OpenAI як один із перших провайдерів інференсу відкритих моделей на OpenAI B2B Marketplace, включно з нативною інтеграцією в Codex. Тепер корпоративні клієнти OpenAI можуть використовувати наявні зобов'язання перед OpenAI для роботи з відкритими моделями, які обслуговує Baseten у Codex або через Responses API. Для підприємств це означає ще більше інтелекту за кожен долар завдяки вже існуючим зобов'язанням перед OpenAI.
Ми вже писали про майбутнє з багатьма моделями, і цей анонс показує, як швидко це майбутнє стає сьогоденням. Агентне програмування (agentic coding) — найпоширеніший сценарій використання ШІ на сьогодні, а моделі Codex та GPT від OpenAI є одними з найпопулярніших рішень для масштабування процесів генерації коду. Тепер, коли клієнтам OpenAI стали доступні відкриті моделі на базі Baseten, організації можуть оптимізувати агентні робочі процеси між відкритими та закритими моделями, спрямовуючи кожне завдання до тієї, що підходить найкраще.
Агентне програмування — перший мультимодельний робочий процес глобального масштабу
Сьогодні компанії-лідери у сфері ШІ переходять на комбінацію моделей на межах Парето, балансуючи між інтелектом, вартістю, затримкою та пропускною здатністю.
Найкращі інженерні команди активно розподіляють завдання — через статичні чи адаптивні маршрутизатори — тій моделі, яка забезпечує оптимальне співвідношення ціни, якості та продуктивності для конкретного завдання. А оскільки цикл появи нових відкритих і закритих моделей скоротився до кількох тижнів, жодна модель не залишається найкращим інструментом для всіх задач надовго.
Щоб триматися попереду, компаніям потрібен миттєвий доступ до найновіших моделей зі швидким і надійним інференсом, який легко інтегрується в їхні фреймворки, шлюзи та інші інструменти. Саме для цього й створено Baseten: платформа надає високопродуктивні інфраструктурні примітиви та інструменти для розробників, які нативно інтегруються в унікальне ІТ-середовище кожної організації.
Нові можливості для масштабування мультимодельного інтелекту в генерації коду
Найвищий інтелект за кожен долар у продакшені працює на масштабі лише тоді, коли моделі стабільно виправдовують очікування. Щоб мультимодельна система технічно працювала, вам потрібні продуктивність, надійність і гнучкість. А щоб масштабувати її на рівні підприємства, слід додати зручний досвід для розробників, можливості глобального управління та інженерну підтримку першої лінії.
- Оптимізація продуктивності на всьому стеку: Робочі навантаження при генерації коду особливо складні на рівні інференсу. Багатораундові діалоги, довгі промпти для великих репозиторіїв та гігантські контекстні вікна навантажують кожен елемент стека, тому наша робота над продуктивністю охоплює все — від інструментарію до рівня рушія.
- Пропускна здатність і надійність у мультихмарному середовищі. Генерація коду відбувається сплесками в цілих інженерних організаціях, і саме ресурси стають першим вузьким місцем. Baseten працює на понад 90 кластерах у більш ніж 20 хмарах, а деплойменти функціонують у режимі active-active. Тому втрата провайдера чи регіону просто перенаправляє трафік, а не зупиняє роботу. Партнерство з понад 200 обчислювальними провайдерами робить нас першими в черзі, коли з'являються нові потужності, тож пропозиція зростає раніше за попит.
- Доступ до моделей із першого дня: Коли нова відкрита модель очолює бенчмарки з програмування, чекати квартал на її тестування — неприпустимо. Ми запускаємо ключові відкриті моделі в Model APIs у день їхнього релізу. Оцінити найновішу frontier-модель у день виходу так само просто, як оновити один рядок коду.
- Досвід для розробників (і агентів): Самого лише інференсу недостатньо для робочих процесів програмування. Агентам потрібно десь запускати написаний ними код, тому пісочниці Blaxel, які тепер є частиною Baseten, надають кожному агенту власне ізольоване середовище.
- Корпоративне управління: Код за замовчуванням є конфіденційним, тому інференс Baseten працює на інфраструктурі в США з політикою нульового збереження даних (ZDR) для всіх промптів. Для суворіших вимог комплаєнсу ви можете прив'язати деплойменти до конкретних регіонів, налаштувати деталізовану автентифікацію (AuthN) та авторизацію (AuthZ), а також відстежувати використання в розрізі будь-якої моделі, користувача чи ключа.
- Прикладні дослідження та вбудована інженерна підтримка: Виїзні інженери (forward-deployed engineers) налаштовують деплойменти під ваші цільові показники затримки, а дослідники проводять пост-тренінг разом із вами. Саме так LangChain навчає кастомні моделі для LangSmith Engine за допомогою Baseten Loops.
Наше партнерство з OpenAI — ще один крок до найкращого мультимодельного досвіду агентного програмування. Маючи доступ до відкритих frontier-моделей із першого дня, швидкий і надійний інференс, а також гарантовані ресурси в нашій або вашій хмарі, ми продовжимо створювати те, що потрібно вам для прискорення впровадження ШІ та підвищення цінності інтелекту за кожен витрачений долар.
Щоб отримати нативний доступ до відкритих моделей у Codex у межах ваших зобов'язань перед OpenAI, додайте себе до списку. З усіх інших питань — поговоріть з інженером.
