OpenAI B2B Marketplace'teki ilk açık model çıkarım (inference) sağlayıcılarından biri olarak OpenAI ile iş birliği yapmaktan büyük heyecan duyuyoruz; bu iş birliği, Codex içindeki yerel bir entegrasyonu da kapsıyor. OpenAI kurumsal müşterileri artık mevcut OpenAI taahhütlerini, Codex içinde veya Responses API aracılığıyla Baseten tarafından sunulan açık modeller için kullanabilir. Kurumlar açısından bu, mevcut OpenAI taahhüdünüz üzerinden harcanan her doların karşılığında çok daha fazla zekâ elde etmek anlamına geliyor.
Çoklu model geleceğinden daha önce de bahsetmiştik ve bu duyuru, o geleceğin ne kadar hızlı bir şekilde bugüne dönüştüğünü gözler önüne seriyor. Ajan tabanlı kodlama (agentic coding) şu anda en yaygın benimsenen yapay zekâ kullanım senaryosu; OpenAI'nin Codex ve GPT modelleri ise kod üretimi iş akışlarını ölçeklendirmek için en çok tercih edilen iki seçenek arasında yer alıyor. Baseten destekli açık modellerin artık OpenAI müşterilerinin kullanımına sunulmasıyla birlikte organizasyonlar, açık ve kapalı modeller genelinde ajan tabanlı iş akışlarını optimize edebilir ve her görevi ona en uygun modele yönlendirebilir.
Ajan tabanlı kodlama, küresel ölçekteki ilk çoklu model iş akışıdır
Bugün yapay zekâ alanında öncü olan şirketler; zekâ, maliyet, gecikme süresi ve kapasite ekseninde Pareto sınırlarında bir model karışımı kullanmaya yöneliyor.
Önde gelen mühendislik ekipleri, görevleri statik veya uyarlanabilir yönlendiriciler aracılığıyla aktif olarak o iş için en iyi maliyet, kalite ve performans dengesini sunan modele aktarıyor. Yeni açık ve kapalı modeller arasındaki döngü haftalar seviyesine indiğinden, hiçbir model uzun süre her iş için en iyi araç olma özelliğini koruyamıyor.
Geride kalmamak için şirketlerin; test altyapılarına, ağ geçitlerine ve diğer araçlarına kusursuz bir şekilde entegre olan, hızlı ve güvenilir bir çıkarım hizmetiyle en yeni modellere anında erişmesi gerekiyor. Baseten tam da bu amaçla tasarlandı; her organizasyonun kendine özgü teknoloji altyapısına doğal bir şekilde entegre olan yüksek performanslı altyapı temel bileşenleri ve geliştirici araçları sunuyor.
Kod üretimi için çoklu model zekâsını ölçeklendiren yeni yetenekler
Üretim ortamında harcanan her dolardan en yüksek zekâyı elde etmek, ancak modeller sürekli olarak beklendiği gibi performans gösterdiğinde ölçeklenebilir hale gelir. Çoklu model bir sistemi teknik olarak çalışır kılmak için performansa, güvenilirliğe ve esnekliğe ihtiyacınız vardır. Bu sistemi bir kurum içinde ölçeklendirmek istiyorsanız, buna sadeleştirilmiş bir geliştirici deneyimi, küresel yönetişim yetenekleri ve doğrudan sahada mühendislik desteği eklemeniz gerekir.
- Uçtan uca performans optimizasyonu: Kod üretimi iş yükleri, çıkarım katmanında özellikle zorludur. Birden fazla etkileşim turu, büyük repolar üzerinde çalışan uzun promptlar ve devasa bağlam pencereleri yığının her bir parçasını zorlar; bu yüzden performans çalışmalarımız araçlardan motor seviyesine kadar her şeyi kapsar.
- Çoklu bulut kapasitesi ve güvenilirliği. Kod üretimi, tüm mühendislik organizasyonlarında ani patlamalar halinde gerçekleşir ve ilk darboğaz yaratan kısıt genellikle kapasitedir. Baseten, 20'den fazla bulut üzerindeki 90'dan fazla kümede çalışır ve dağıtımlar aktif-aktif mimariyle yürütülür; dolayısıyla bir sağlayıcının veya bölgenin devre dışı kalması işleri durdurmaz, trafiği yeniden yönlendirir. 200'den fazla işlem sağlayıcısıyla kurduğumuz ilişkiler sayesinde yeni kapasite devreye girdiğinde aranan ilk isim biz oluyoruz; böylece arz, talebin hep bir adım önünde büyüyor.
- Sıfırıncı gün model erişimi: Yeni bir açık model kodlama kıyaslamalarında zirveye çıktığında, onu değerlendirmek için bir çeyrek yıl beklemek kabul edilemez. Önemli açık modelleri, piyasaya sürüldükleri gün Model API'lerinde yayına alıyoruz. En yeni frontier modelini yayınlandığı gün değerlendirmek, tek bir satır kodu güncellemek kadar basit.
- Geliştirici (ve ajan) deneyimi: Kodlama iş akışları için yalnızca çıkarım yeterli değildir. Ajanların yazdıkları kodu çalıştırabilecekleri bir ortama ihtiyacı vardır; artık Baseten'in bir parçası olan Blaxel sandbox'larının her ajana kendi sandbox'ını sağlamasının nedeni de budur.
- Kurumsal yönetişim: Kod doğası gereği hassastır ve Baseten'in çıkarım hizmeti, tüm promptlar için sıfır veri tutma (ZDR) politikasıyla ABD merkezli altyapıda çalışır. Daha yüksek uyumluluk gereksinimleri için dağıtımları belirli bölgelere sabitleyebilir, ince taneli AuthN ve AuthZ mekanizmaları uygulayabilir ve herhangi bir model, kullanıcı veya anahtar genelindeki kullanımı görüntüleyebilirsiniz.
- Uygulamalı araştırma ve gömülü mühendislik desteği: Sahada konuşlandırılmış mühendislerimiz dağıtımları gecikme süresi hedeflerinize göre ayarlarken, uygulamalı araştırmacılarımız eğitim sonrası süreçleri sizinle birlikte yürütür. LangChain'in Baseten Loops ile LangSmith Engine için özel modeller eğitmesinin yolu tam olarak budur.
OpenAI ile kurduğumuz bu ortaklık, en iyi çoklu model ajan tabanlı kodlama deneyimini sunma yolunda attığımız bir başka adımdır. Sıfırıncı günden açık frontier modellerine erişim, hızlı ve güvenilir çıkarım ile ister bizim ister sizin bulutunuzda garanti edilen kapasite sayesinde; yapay zekâ benimsemesini hızlandırmak ve harcanan her doların zekâsal karşılığını artırmak için ihtiyaç duyduğunuz çözümleri geliştirmeye devam edeceğiz.
Mevcut OpenAI taahhüdünüz üzerinden açık modellere Codex içinde yerel olarak erişmek için listeye kaydolun. Diğer tüm konular için bir mühendisimizle görüşün.
