Мы рады стать партнерами OpenAI в качестве одного из первых провайдеров инференса открытых моделей на площадке OpenAI B2B Marketplace, включая нативную интеграцию внутри Codex. Теперь корпоративные клиенты OpenAI могут использовать свои текущие обязательства перед OpenAI для работы с открытыми моделями, которые обслуживает Baseten — как внутри Codex, так и через Responses API. Для бизнеса это означает еще больше интеллекта за каждый доллар в рамках уже существующих обязательств перед OpenAI.
Мы уже писали о мультимодельном будущем, и этот анонс показывает, как быстро оно становится настоящим. Агентное программирование (agentic coding) сегодня — самый массовый сценарий использования ИИ, а Codex и модели GPT от OpenAI остаются одними из самых популярных инструментов для масштабирования процессов генерации кода. Теперь, когда клиентам OpenAI доступны открытые модели на базе Baseten, компании могут оптимизировать агентные рабочие процессы, комбинируя открытые и закрытые модели, и направлять каждую задачу той модели, которая подходит лучше всего.
Агентное программирование — первый мультимодельный рабочий процесс мирового масштаба
Сегодня лидеры в области ИИ переходят к использованию комбинаций моделей на границе Парето, балансируя между уровнем интеллекта, стоимостью, задержкой и пропускной способностью.
Лучшие инженерные команды активно направляют задачи — через статические или адаптивные маршрутизаторы — той модели, которая обеспечивает оптимальное сочетание цены, качества и производительности для конкретной работы. А поскольку цикл появления новых открытых и закрытых моделей сократился до нескольких недель, ни одна модель не остается лучшим инструментом для всех задач надолго.
Чтобы оставаться впереди, компаниям нужен мгновенный доступ к новейшим моделям с быстрым и надежным инференсом, который бесшовно интегрируется в их тестовые окружения, шлюзы и другие инструменты. Baseten создавался именно для этого: мы предоставляем высокопроизводительные инфраструктурные примитивы и инструменты для разработчиков, которые нативно встраиваются в уникальную ИТ-среду каждой организации.
Новые возможности для масштабирования мультимодельного интеллекта в генерации кода
Максимальная отдача от интеллекта на каждый доллар в продакшене работает только тогда, когда модели стабильно ведут себя предсказуемо. Чтобы мультимодельная система просто функционировала технически, нужны производительность, надежность и гибкость. А чтобы масштабировать ее на уровне предприятия, необходимо добавить удобный опыт для разработчиков, глобальные инструменты управления и поддержку инженеров первой линии.
- Оптимизация производительности полного стека: Нагрузки при генерации кода особенно сложны на уровне инференса. Множественные шаги взаимодействия, длинные промпты по большим репозиториям и огромные контекстные окна нагружают каждый элемент стека, поэтому наша работа над производительностью охватывает всё — от инструментов до уровня движка.
- Пропускная способность и надежность в мультиоблаке. Генерация кода запускается «взрывными» волнами во всей инженерной организации, и пропускная способность — первое узкое место, которое дает о себе знать. Baseten работает более чем на 90 кластерах в 20+ облаках, а деплои работают в режиме active-active: если падает провайдер или регион, трафик перенаправляется, а работа не останавливается. Партнерские отношения с 200+ поставщиками вычислительных ресурсов делают нас первыми в очереди, когда появляются новые мощности, поэтому предложение всегда опережает спрос.
- Доступ к моделям с первого дня: Когда новая открытая модель возглавляет бенчмарки по программированию, ждать квартал, чтобы ее протестировать, — непозволительная роскошь. Мы запускаем крупные открытые модели в Model APIs в день их выхода. Протестировать свежайшую frontier-модель в день релиза так же просто, как изменить одну строку кода.
- Опыт для разработчиков (и агентов): Одного инференса для рабочих процессов программирования недостаточно. Агентам нужно где-то запускать написанный ими код, поэтому песочницы Blaxel, теперь ставшие частью Baseten, предоставляют каждому агенту собственную изолированную среду.
- Корпоративное управление: Код по умолчанию является чувствительными данными, поэтому инференс Baseten работает на инфраструктуре в США с политикой нулевого хранения данных (ZDR) для всех промптов. Если требования к комплаенсу еще выше, можно привязать деплои к конкретным регионам, настроить детализированную аутентификацию (AuthN) и авторизацию (AuthZ), а также отслеживать использование по любой модели, пользователю или ключу.
- Прикладные исследования и встроенная инженерная поддержка: Наши инженеры, работающие напрямую с клиентами, настраивают деплои под ваши целевые показатели задержки, а специалисты по прикладным исследованиям проводят пост-тренировку вместе с вами. Именно так LangChain обучает кастомные модели для LangSmith Engine с помощью Baseten Loops.
Наше партнерство с OpenAI — еще один шаг к лучшему мультимодельному опыту агентного программирования. Доступ к открытым frontier-моделям с первого дня, быстрый и надежный инференс, гарантированные мощности в нашем или вашем облаке — мы продолжим создавать то, что нужно вам для ускорения внедрения ИИ и повышения ценности каждого потраченного доллара.
Чтобы получить доступ к открытым моделям напрямую в Codex в рамках ваших обязательств перед OpenAI, оставьте заявку. По всем остальным вопросам свяжитесь с нашим инженером.
