Chúng tôi rất hào hứng khi trở thành đối tác của OpenAI với vai trò một trong những nhà cung cấp inference cho mô hình mở đầu tiên trên OpenAI B2B Marketplace, bao gồm cả khả năng tích hợp native bên trong Codex. Giờ đây, khách hàng doanh nghiệp của OpenAI có thể sử dụng các gói cam kết hiện có với OpenAI để chạy các mô hình mở do Baseten phục vụ ngay trong Codex hoặc thông qua Responses API. Với doanh nghiệp, điều này đồng nghĩa với việc tối ưu hóa hơn nữa hiệu quả trí tuệ trên mỗi đô la từ gói cam kết OpenAI mà bạn đang có.
Chúng tôi từng viết về tương lai đa mô hình, và thông báo này cho thấy tương lai đó đang trở thành hiện thực nhanh đến mức nào. Agentic coding (lập trình bằng AI agent) hiện là use case AI được ứng dụng rộng rãi nhất, còn Codex và các mô hình GPT của OpenAI là hai lựa chọn phổ biến hàng đầu để mở rộng quy mô workflow tạo mã nguồn. Khi các mô hình mở do Baseten vận hành chính thức có mặt dành cho khách hàng của OpenAI, tổ chức của bạn có thể tối ưu hóa agentic workflow xuyên suốt cả mô hình mở lẫn mô hình đóng, đồng thời định tuyến từng tác vụ đến đúng mô hình phù hợp nhất.
Agentic coding là workflow đa mô hình đầu tiên đạt quy mô toàn cầu
Ngày nay, các công ty dẫn đầu về AI đang chuyển sang sử dụng kết hợp nhiều mô hình tại đường biên Pareto dựa trên các tiêu chí: trí tuệ, chi phí, độ trễ và dung lượng.
Các đội ngũ kỹ thuật hàng đầu đang chủ động phân luồng tác vụ — thông qua bộ định tuyến tĩnh hoặc thích ứng — đến mô hình mang lại sự cân bằng tốt nhất giữa chi phí, chất lượng và hiệu năng cho từng công việc cụ thể. Và khi chu kỳ ra mắt các mô hình mở cũng như mô hình đóng mới chỉ còn tính bằng tuần, không có mô hình nào giữ mãi vị thế "công cụ tốt nhất cho mọi việc" trong thời gian dài.
Để luôn đi trước, doanh nghiệp cần quyền truy cập tức thì vào các mô hình mới nhất cùng khả năng inference nhanh chóng, ổn định, dễ dàng tích hợp liền mạch vào hệ thống harness, gateway và các công cụ khác của mình. Baseten được thiết kế chính xác cho mục đích đó: cung cấp các thành phần hạ tầng hiệu năng cao cùng bộ công cụ dành cho developer, tích hợp native vào hệ sinh thái riêng biệt của từng tổ chức.
Năng lực mới giúp mở rộng quy mô trí tuệ đa mô hình cho việc tạo mã nguồn
Hiệu quả trí tuệ trên mỗi đô la tốt nhất trong môi trường production chỉ phát huy ở quy mô lớn khi các mô hình liên tục hoạt động đúng như kỳ vọng. Bạn cần hiệu năng, độ tin cậy và sự linh hoạt để một hệ thống đa mô hình hoạt động trơn tru về mặt kỹ thuật. Còn để mở rộng trong phạm vi doanh nghiệp, bạn cần bổ sung trải nghiệm developer tinh gọn, năng lực quản trị toàn cầu và đội ngũ hỗ trợ kỹ thuật trực chiến.
- Tối ưu hiệu năng full-stack: Workload tạo mã nguồn đặc biệt thách thức ở tầng inference. Các cuộc hội thoại nhiều lượt, prompt dài trên những repo lớn và context window khổng lồ sẽ vắt kiệt mọi thành phần trong stack, vì vậy nỗ lực tối ưu hiệu năng của chúng tôi bao trùm tất cả — từ lớp công cụ cho đến tận engine.
- Dung lượng và độ tin cậy multi-cloud. Việc tạo mã nguồn thường diễn ra theo đợt bùng nổ trên toàn bộ tổ chức kỹ thuật, và dung lượng chính là nút thắt cổ chai xuất hiện đầu tiên. Baseten vận hành trên hơn 90 cluster thuộc 20+ nền tảng cloud, với cơ chế triển khai active-active, nên nếu mất một nhà cung cấp hay một khu vực, lưu lượng sẽ tự động định tuyến lại thay vì làm gián đoạn công việc. Mối quan hệ với hơn 200 nhà cung cấp tài nguyên tính toán giúp chúng tôi luôn là đơn vị được gọi tên đầu tiên khi có dung lượng mới, đảm bảo nguồn cung luôn tăng trưởng trước nhu cầu.
- Truy cập mô hình từ ngày đầu tiên (day zero): Khi một mô hình mở mới vươn lên dẫn đầu các benchmark lập trình, việc phải chờ đợi cả quý để đánh giá nó là điều không thể chấp nhận. Chúng tôi ra mắt các mô hình mở lớn trên Model APIs ngay trong ngày chúng được phát hành. Việc thử nghiệm mô hình frontier mới nhất ngay ngày ra mắt giờ đây đơn giản chỉ là cập nhật một dòng code.
- Trải nghiệm cho developer (và agent): Chỉ riêng inference là chưa đủ cho các workflow lập trình. Agent cần nơi để chạy đoạn code mà chúng vừa viết, đó là lý do sandbox Blaxel, hiện đã là một phần của Baseten, trang bị cho mỗi agent một sandbox riêng.
- Quản trị chuẩn doanh nghiệp: Mã nguồn mặc định là dữ liệu nhạy cảm, và quá trình inference của Baseten chạy trên hạ tầng đặt tại Mỹ với chính sách không lưu trữ dữ liệu (ZDR) cho mọi prompt. Nếu yêu cầu tuân thủ khắt khe hơn, bạn có thể ghim bản triển khai vào những khu vực cụ thể, áp dụng cơ chế AuthN và AuthZ chi tiết, cũng như theo dõi mức sử dụng trên bất kỳ mô hình, người dùng hay khóa API nào.
- Nghiên cứu ứng dụng và hỗ trợ kỹ thuật nhúng: Các kỹ sư triển khai trực tiếp (forward-deployed engineer) sẽ tinh chỉnh bản triển khai theo mục tiêu độ trễ của bạn, còn đội ngũ nghiên cứu ứng dụng sẽ đồng hành cùng bạn trong quá trình post-training. Đó chính là cách LangChain huấn luyện các mô hình tùy chỉnh cho LangSmith Engine với Baseten Loops.
Hợp tác cùng OpenAI là bước tiến tiếp theo của chúng tôi trên hành trình mang đến trải nghiệm agentic coding đa mô hình tốt nhất. Với quyền truy cập các mô hình mở frontier ngay từ ngày đầu tiên, khả năng inference nhanh chóng và đáng tin cậy, cùng dung lượng được đảm bảo trên cloud của chúng tôi hoặc của riêng bạn, chúng tôi sẽ tiếp tục xây dựng mọi thứ bạn cần để đẩy nhanh tốc độ ứng dụng AI và gia tăng giá trị trí tuệ trên từng đô la bỏ ra.
Để sử dụng các mô hình mở một cách native trong Codex thông qua gói cam kết OpenAI của bạn, hãy đăng ký vào danh sách. Với mọi nhu cầu khác, hãy trò chuyện cùng kỹ sư của chúng tôi.
