Şu anda hâkim olan anlatı, açık kaynağın kurumsal dünyayı ele geçirdiği yönünde. En iyi kapalı ve açık modeller arasındaki yetenek farkı, tek haneli düşük rakamlara kadar geriledi. Fortune 500 şirketlerinin üçte birinin Hugging Face'te doğrulanmış hesapları var, Çin laboratuvarları her birkaç haftada bir sınır modellere yakın, açık ağırlıklı modeller çıkarıyor ve çıkarım sağlayıcıları da hızla büyüyor.
Bu arada, Decagon'da artık iş yüklerimizin yaklaşık %90'ını OpenAI veya Anthropic yerine açık kaynak modellerde çalıştırıyoruz. Bu, çoğu hiper büyüme gösteren uygulama şirketiyle tutarlı ve birlikte çalıştığımız büyük kurumsal şirketlerin de bu yöne kaydığını görüyoruz.
Yine de kurumsal harcamaların tamamı ters yönde ilerliyor. Açık kaynak modeller, kurumsal LLM harcamalarının yalnızca %11'ine düştü; bir yıl önce bu oran %19'du.
Trend, popüler anlatının aksine aslında ters yönde ilerliyor. Bunun nedeni nedir ve gelecek için ne anlama geliyor?
Öncelikle, neden %90 açık kaynak olduğumuza dair biraz bağlam. Bunun nedeni maliyet değildi ve müşterilerimizin bunu talep etmesi de değildi (gerçi onlar da bundan rahatsız değil). Bunun nedeni, başka seçeneğimizin olmamasıydı.
Müşteri hizmetleri için üretimde AI ajanları çalıştırırken, gecikme süresi ürünü ya yapar ya da bozar. Her adımın 8 saniye sürdüğü bir konuşma, kimsenin kullanmayacağı bir üründür. Bu nedenle küçük, hızlı modellere ihtiyacınız var. Her model çağrısının Litvanya'nın başkentini veya lise fiziğini bilmesi gerekmez.
Ancak küçük modeller, kutu içinden çıktıkları haliyle, müşterilerimizin bizi tuttuğu kalite çıtası için yeterince iyi değil. Bu seviyeye ancak tam göreve yönelik yoğun ince ayar (fine-tuning) ile ulaşıyorlar. Sınır laboratuvarları bu kombinasyonu pek satmıyor. En iyi modellerine ihtiyacımız olduğu gibi ince ayar yapamıyoruz ve onların küçük modelleri bizim şekillendirebileceğimiz modeller değil. Küçük + ince ayarlı, açık ağırlıklar anlamına geliyor. Maliyet tasarrufu gerçek ama ikincil öneme sahip ve kurumsal şirketlerin kendi kendine barındırılan modellerle rahat olması güzel bir yan etki, asıl neden değil.
Peki neden bizimki gibi bir şirket %90 açık kaynakken, daha geniş kurumsal dünyadaki oran düşüyor?
Cevap, kullanım senaryosunun olgunluğu. Bir kullanım senaryosu yeni olduğunda, alabileceğiniz en akıllı genel amaçlı modeli istersiniz. Sorunun şeklini henüz bilmiyorsunuz, bu yüzden sonunda ihtiyacınız olmayabilecek bir zeka için prim ödersiniz. Bu, o aşamada doğru takastır. Ancak kullanım senaryosu tamamen geliştirildiğinde, girdilerin dağılımını, ihtiyacınız olan davranışları ve korunmanız gereken hata modlarını bildiğinizde, takas tersine döner. Artık genel zeka bir yük haline gelir ve sizin belirli işinizi son derece iyi yapacak şekilde ince ayar yapılmış en küçük, en hızlı modeli istersiniz.
Müşteri hizmetleri, sektördeki en belirgin AI kullanım senaryolarından biri oluyor. İyi anlaşılmış iş akışları, muazzam konuşma hacmi, sıkı kalite çıtaları. Bu da bizim gibi şirketlerin, ortalama bir kurumsal dağıtımdan çok daha ileride olduğu anlamına geliyor.
Ve paradoksun çözümü de bu. Açık kaynak payının düşmesinin nedeni, açık kaynağın kaybetmesi değil. Bunun nedeni, kurumsal AI'ın bir bütün olarak olgunluk eğrisinin en başında olması. Geçen yıl kurumsal şirketler inşa etmeyi bırakıp satın almaya başladı ve bir anda binlerce yepyeni kullanım senaryosu ortaya çıktı. Yeni kullanım senaryoları sınır modellerde çalışır, bu nedenle kapalı kaynak payı patladı. %11 bir payda sorunu: olgunlaşmamış kullanım senaryolarının havuzu, olgun olanlardan daha hızlı büyüyor.
Eğer bu doğruysa, bugün bir sınır modelde prototipi yapılan her kullanım senaryosu, gelecekteki bir açık kaynak göçüdür. Dağıtımlar olgunlaştıkça, şirketler bizim yaptığımızı yapacak: damıtma, ince ayar, uzmanlaşma. Sınır laboratuvarları keşif alanına sahip olmaya devam edecek. Açık kaynak ise giderek üretimi üstlenecek.
Ancak bu, insanların düşündüğünden daha uzun sürecek. Çoğu kullanım senaryosu, ajanın "şeklinin", açık kaynak modellerde ince ayar yapmaya başlamayı mantıklı kılacak kadar kesinleştiği noktada değil.
İnce ayar çaba gerektirir ve çoğu kuruluş bunu yapacak kaynaklara veya uzmanlığa sahip değildir. Kullanım senaryosunun, buna değmesi için çok yüksek ROI'li ve halihazırda ölçekte tamamen dağıtılmış olması gerekir. Ayrıca, daha küçük modellerin belirli bir görevde sınır modellerle aynı seviyede performans gösterebildiğinden emin olmak için yeterli veriye ihtiyacınız var.
Aksi takdirde, sınır kapalı kaynak modellerden birini bağlamak çok daha kolaydır. Herhangi bir altyapıya sahip olma derdiniz olmaz ve özgürce yineleme ve deneme yapma özgürlüğüne sahip olursunuz.
Bu nedenle, açık kaynağa yapılan LLM harcamalarının payı eninde sonunda yukarı yönde bir kırılım gösterecek, ancak bu uzun yıllar boyunca gerçekleşmeyecek.
