우리는 OpenAI B2B Marketplace 의 최초 오픈 모델 추론 제공업체 중 하나로 OpenAI 와 파트너십을 맺게 되어 매우 기쁩니다. 이번 협력에는 Codex 내 네이티브 통합도 포함됩니다. 이제 OpenAI 엔터프라이즈 고객은 기존에 체결한 OpenAI 약정(커밋)을 활용해, Codex 내부 또는 Responses API 를 통해 Baseten 이 제공하는 오픈 모델을 사용할 수 있습니다. 기업 입장에서는 이미 확보한 OpenAI 약정을 통해 지출하는 비용 대비 훨씬 더 높은 수준의 인텔리전스를 얻을 수 있다는 의미입니다.
우리는 앞서 멀티 모델 시대의 도래에 대해 이야기한 바 있으며, 이번 발표는 그 미래가 얼마나 빠르게 현실로 다가오고 있는지를 보여줍니다. 현재 에이전틱 코딩(Agentic coding) 은 가장 널리 도입된 AI 활용 사례이며, OpenAI 의 Codex 와 GPT 모델은 코드 생성 워크플로우를 확장하기 위한 가장 인기 있는 선택지입니다. 이제 Baseten 이 지원하는 오픈 모델을 OpenAI 고객이 사용할 수 있게 되면서, 기업들은 오픈 모델과 클로즈드 모델을 아우르는 에이전틱 워크플로우를 최적화하고 각 작업에 가장 적합한 모델로 태스크를 라우팅할 수 있게 되었습니다.
글로벌 규모로 구현되는 최초의 멀티 모델 워크플로우, 에이전틱 코딩
오늘날 AI 분야를 선도하는 기업들은 인텔리전스, 비용, 지연 시간(latency), 처리 용량 측면에서 파레토 프론티어(Pareto frontiers) 에 위치한 다양한 모델을 혼합하여 사용하는 방식으로 전환하고 있습니다.
최고 수준의 엔지니어링 팀은 정적 또는 적응형 라우터를 통해, 해당 작업에 가장 이상적인 비용·품질·성능 조합을 제공하는 모델로 태스크를 능동적으로 분배하고 있습니다. 게다가 새로운 오픈 모델과 클로즈드 모델이 등장하는 주기가 몇 주 단위로 짧아지면서, 어떤 모델도 모든 작업에 영원히 최고의 도구로 남을 수 없게 되었습니다.
경쟁 우위를 유지하려면 기업이 자체 구축한 하네스(harness), 게이트웨이 및 기타 툴링에 매끄럽게 통합되는 빠르고 안정적인 추론 환경으로 최신 모델에 즉시 접근할 수 있어야 합니다. Baseten 은 바로 이러한 요구를 충족하도록 설계되었으며, 각 조직의 고유한 인프라 환경에 네이티브로 통합되는 고성능 인프라 프리미티브와 개발자 도구를 제공합니다.
코드 생성을 위한 멀티 모델 인텔리전스 확장, 새로운 역량
프로덕션 환경에서 비용 대비 최고의 인텔리전스를 얻으려면, 모델이 일관되게 기대한 대로 작동하는 대규모 환경이 뒷받침되어야 합니다. 멀티 모델 시스템을 기술적으로 안정화하려면 성능, 안정성, 유연성이 필수적입니다. 그리고 이를 기업 전체로 확장하려면 간소화된 개발자 경험, 글로벌 거버넌스 기능, 최전선 엔지니어링 지원이 더해져야 합니다.
- 풀스택 성능 최적화: 코드 생성 워크로드는 추론 레이어에서 특히 까다롭습니다. 다중 턴(multi-turn) 대화, 대규모 리포지토리를 대상으로 하는 긴 프롬프트, 방대한 컨텍스트 윈도우는 스택의 모든 부분에 부하를 가합니다. 따라서 우리의 성능 최적화 작업은 툴링부터 엔진 레벨까지 전 영역을 아우릅니다.
- 멀티 클라우드 용량과 안정성. 코드 생성은 엔지니어링 조직 전체에서 버스트 형태로 실행되며, 가장 먼저 병목으로 작용하는 것이 바로 처리 용량입니다. Baseten 은 20 개 이상의 클라우드에 걸쳐 90 개 이상의 클러스터에서 운영되며, 배포는 액티브-액티브(active-active) 방식으로 이루어집니다. 따라서 특정 제공업체나 리전에 장애가 발생해도 작업이 중단되지 않고 트래픽이 자동으로 재라우팅됩니다. 또한 200 개 이상의 컴퓨트 제공업체와의 파트너십 덕분에 새로운 용량이 확보될 때 가장 먼저 공급을 받아, 수요보다 한발 앞서 인프라를 확장할 수 있습니다.
- 데이 제로(Day zero) 모델 액세스: 새로운 오픈 모델이 코딩 벤치마크 1 위에 올랐는데 이를 평가하기 위해 한 분기씩 기다릴 수는 없습니다. 우리는 주요 오픈 모델이 출시되는 당일 Model APIs 를 통해 즉시 서비스를 시작합니다. 최신 프론티어 모델을 출시일에 바로 평가하는 것은 코드 한 줄만 수정하면 될 만큼 간단합니다.
- 개발자(및 에이전트) 경험: 코딩 워크플로우에는 추론만으로는 부족합니다. 에이전트는 자신이 작성한 코드를 실행할 공간이 필요하며, 이것이 바로 현재 Baseten 의 일부가 된 Blaxel 샌드박스 가 모든 에이전트에게 전용 샌드박스를 제공하는 이유입니다.
- 엔터프라이즈 거버넌스: 코드는 기본적으로 민감한 정보입니다. Baseten 의 추론은 미국 기반 인프라에서 실행되며, 모든 프롬프트에 대해 데이터 보존 제로(ZDR) 정책을 적용합니다. 더 높은 수준의 컴플라이언스가 필요한 경우, 배포를 특정 리전에 고정하거나 세분화된 인증(AuthN) 및 권한 부여(AuthZ) 를 구현하고, 모델·사용자·키 단위로 사용량을 조회할 수 있습니다.
- 응용 연구 및 임베디드 엔지니어링 지원: 현장 파견 엔지니어(FDE) 가 고객의 지연 시간 목표에 맞춰 배포 환경을 튜닝하고, 응용 연구진이 함께 포스트 트레이닝(post-training) 을 수행합니다. LangChain 이 Baseten Loops 를 사용해 LangSmith Engine 용 커스텀 모델을 학습시킨 방식 이 바로 그 예입니다.
OpenAI 와의 파트너십은 최고의 멀티 모델 에이전틱 코딩 경험을 제공하기 위한 또 하나의 중요한 진전입니다. 출시 당일 오픈 프론티어 모델에 접근하고, 빠르고 안정적인 추론을 이용하며, Baseten 클라우드 또는 고객의 클라우드에서 보장된 용량을 확보함으로써, 우리는 AI 도입을 가속화하고 비용 대비 인텔리전스의 가치를 극대화하는 데 필요한 솔루션을 계속 구축해 나갈 것입니다.
OpenAI 약정을 통해 Codex 에서 오픈 모델을 네이티브로 이용하려면 대기자 명단에 등록하세요. 그 외 문의 사항은 엔지니어와 상담해 보세요.
