Opus 4.8'i Fable 5 ile değiştirdik ve Devin'in faturası düştü.
Fable 5'in token başına maliyeti Opus 4.8'in iki katı. Ancak her iki modeli de yeni Fusion mimarimizi kullanarak FrontierCode 1.1'de çalıştırdığımızda, Fable daha düşük maliyetli oldu. Tahmin edilebileceği gibi, aynı zamanda daha yüksek puan aldı. Bu yazı, bunun nedenini ve bunun aracılık işleri fiyatlandırması için ne anlama geldiğini açıklıyor.
Giriş
Kodlama aracıları çalıştıran herkes, daha güçlü modellerin daha iyi sonuçlar verdiğini bilir, ancak bunun bedelini ödersiniz.
Devin Fusion'ı tanıttığımızda, bir çıkış yolu gösterdik: sınır modeli sorumlu tutun, daha ucuz ve daha hızlı bir yardımcıya yetki devretmesine izin verin ve %35 daha düşük maliyetle sınır düzeyinde performans elde edin.
Ancak lider model işin çoğunu devrettikten sonra, token başına fiyatı hala faturaya hakim mi? Fable 5'in token başına maliyeti Opus 4.8'den 2 kat daha fazla, bu nedenle Fable liderliğindeki bir aracının daha pahalı olması gerekir. Bunu öğrenmek için, FrontierCode 1.1'de dört yapılandırma üzerinde 3.000 değerlendirme oturumu gerçekleştirdik: Lider konumunda Fable ve Opus, her biri aynı ucuz yardımcıyla ve yardımcısız.
Saf çalıştırmalar, sezginin tam olarak öngördüğü gibi davranır: Fable, Opus'u geride bırakır (60,8'e karşı 55,4) ve daha pahalıdır. Daha iyi model, daha büyük fatura.
Yardımcı özellikli çalıştırmalar, işlerin ilginçleştiği yerdir.
Aynı yardımcı verildiğinde, maliyet sıralaması tersine döner: Fable + Yardımcı, Opus + Yardımcı'dan daha düşük maliyetlidir (1,86 $'a karşı 2,04 $), aynı zamanda daha yüksek puan alır (60,7'ye karşı 54,6). Saf Fable ile karşılaştırıldığında, Fable + Yardımcı maliyeti %54 oranında düşürürken puanı neredeyse değiştirmez.
Yapılandırma
Puan
Çalıştırma başına maliyet (ortalama)
Fable 5 (düşük) + Yardımcı
60,7
1,86 $
Opus 4.8 (orta) + Yardımcı
54,6
2,04 $
Fable 5 (düşük)
60,8
4,03 $
Opus 4.8 (orta)
55,4
3,06 $
Token başına 2 kat primin bakılması gereken yanlış sayı olduğu ortaya çıktı. Bir aracının maliyeti, lider modelin kaç tur aldığı, ne kadar bağlam sürüklediği ve hepsinden önemlisi, kendisinin ne yapmamaya karar verdiği tarafından belirlenir. Fark, yönetim tarzına bağlıdır: Opus, stajyeri olan bir mikro yönetici gibi davranır; Fable ise yetenekli bir mühendisi olan bir yöneticidir.
Kurulum
Fusion'ın yardımcı mimarisinin nasıl çalıştığına dair kısa bir tazeleme. Lider aracı oturuma sahiptir: kullanıcıyla konuşur, planlar, çalışmayı inceler ve taahhüt eder. Ayrıca, görevleri devretmek için kalıcı bir yardımcı alt aracısı vardır. Lider, düz bir dilde bir devir teslim özeti yazar ve çok daha ucuz bir model tarafından desteklenen alt aracı, bunu kendi bağlamında yürütür ve rapor verir. Lider sonucu inceler ve ardından ne olacağına karar verir.
Maliyetin nereye gittiğini bulmak için iki şey yaptık. İlk olarak, 3.000 oturumun tamamındaki her LLM çağrısını ayrıştırdık: hangi modelin konuştuğu, hangi aracı çağırdığı, kaç token okuduğu ve yazdığı ve her çağrının maliyeti. İkinci olarak, daha yakından incelemek için 40 görev seçtik: Fable'ın önemli ölçüde daha ucuz olduğu görevler, Opus'un olduğu görevler ve ortadan rastgele bir örneklem daha. Her biri için, Fable liderliğindeki çalıştırmayı Opus liderliğindeki çalıştırmayla yan yana analiz ettik, yörüngeleri inceledik ve dolarların nereye gittiğini gözlemledik.
Bir aracının maliyeti
İşte deneyimizde maliyetin lider ve yardımcı arasında nasıl bölündüğü:
Lider $
Yardımcı $
Toplam $/çalıştırma
Lider turları/çalıştırma
Lider giriş tokenları (kümülatif)
Fable + Yardımcı
1,28 $
0,58 $
1,86 $
11,5
545 bin tok
Opus + Yardımcı
1,73 $
0,31 $
2,04 $
26,5
1.679 bin tok
Fable, yardımcısına Opus'tan daha fazla harcıyor - çalıştırma başına 0,27 $ daha fazla. Ancak kendisine 0,45 $ daha az harcıyor. Fable'ın lideri çalıştırma başına 11,5 tur atarken Opus'unkisi 26,5 tur atıyor, çıktı tokenlarının üçte birini (6,1 bine karşı 19,0 bin) yazıyor ve giriş tokenlarının üçte birini tüketiyor. Fable, token başına önemli ölçüde daha pahalıdır, ancak bağlam yönetimi ve tur sayısında kazanır.
Fable'ın token tasarrufu, işi tamamen yapmaktan kaçınmaktan kaynaklanır. İlginç bir şekilde, Fable liderliğindeki çalıştırmaların %81'inde lider hiçbir zaman tek bir kod düzenlemesi yapmaz. Opus için bu, çalıştırmaların yalnızca %24'ü için geçerlidir. Fable liderliğindeki çalıştırmaların %13'ünde lider, bir repo dosyasını bile kendisi okumaz.
Stajyeri olan bir mikro yönetici vs mühendisi olan bir yönetici
Bu farkı ilginç kılan şey şu: her iki lider de aynı sayıda devir teslim yapar, çalıştırma başına yaklaşık 3 kez. Çağrı başına günlükler, Fable'ın basitçe daha fazla devrettiği yönündeki kolay açıklamayı çürütüyor. Farklı olan, ne zaman ve neyi devrettikleridir. Fable'ın ilk devir teslimi erkenden gelir. Opus genellikle geç devreder, uzun bir solo keşif ve uygulama sürecinden sonra; o zamana kadar tasarım kararları alınmış, önemli dosyalar bağlamında yer almış ve pahalı iş tamamlanmıştır.
GIF
Tipik bir Fable liderliğindeki çalıştırma, repoda birkaç keşif eylemi gerçekleştirir, ardından uygulama + test + lint döngüsünün tamamını devreden bir spesifikasyon kalitesinde özet yazar. Ardından farkı incelemek için bir git show ve bir taahhüt.
Tipik bir Opus liderliğindeki çalıştırma, 20-45 tur solo keşif, tasarım ve uygulamadan ve mekanik kuyruk için geç bir devir teslimden geçer.
Bazen Fable'ın bir oturumdaki ilk eylemi bir devir teslimdir. Aynı görevde, iki lider şöyle başladı:
Bariz düzeltme, Opus'un daha fazla keşif devretmesini sağlamaktır, ancak bu davranışı zorlamak performansı düşürme eğilimindedir. Bir araştırmanın ne zaman devredilmesinin güvenli olduğunu ve ne zaman kendiniz yapmanız gereken bir şey olduğunu bilmek, başlı başına bir muhakeme çağrısıdır. Devretmeye zorlanan bir model bu muhakemeyi kazanmaz; sadece yanlış şeyleri devreder.
Her modelin yönetim tarzı, devir teslim özetlerinde de kendini gösterir. Opus uygulamayı devrederken dikte ederken, Fable bir tasarım belgesi yazar:
Yetki devri sadece maliyeti taşımakla kalmaz; aynı zamanda işin kalitesini de değiştirir. Yukarıdaki hash görevi çarpıcı bir örnektir. Görev spesifikasyonu, hash fonksiyonunun işaretçinin uzunluğunda O(1) olmasını gerektiriyordu. Opus bunu elle uyguladı ve bu gereksinimi hiçbir yere yazmadı. Yol boyunca bir yerde kısıtlamayı unuttu ve doğrusal zamanlı bir uygulama gönderdi ve bu da 25 puan aldı. Buna karşılık Fable, üst düzey kısıtlamalar kullanarak yetki devretti. Özetinde "operator() işaretçi uzunluğunda O(1) olmalıdır: TAM token taraması yok" yazıyordu. Yardımcı bunu başarıyla uygulayarak 94 puan aldı.
Bu modelin görevler arasında genelleştiğini bulduk. Fable'ın devir teslimleri, kısıtlamaları, uç durumları ve "tamamlanma" tanımını sıralayarak, kendisine çaba harcatmazken yardımcının uygulamayı ucuz ve doğru bir şekilde tamamlamasını sağladı.
Devir teslimden sonra
Diğer yarısı, lider aracının yardımcıdan geri gelen işle ne yaptığıdır. Her iki lider de genellikle aynı ucuz kontrolü çalıştırır: iki veya üç git diff/git show çağrısı. Ancak Opus bununla yetinmez. Yardımcının dosyalarını kendi bağlamına 2 kat daha fazla çeker ve lider fiyatlarından 4 kat daha fazla düzeltici düzenleme yapar. Aşırı durumda, yardımcının çalışmasını geri aldı ve elle yeniden yazdı:
Opus'un güvensizliği doğruluğu da artırmaz. Bazı değerlendirme görevlerinde, Fable'ın tek fark incelemesi gerçek yardımcı hatalarını yakaladı ve Opus'un sıklıkla başvurduğu lider düzeyinde yeniden yazma yerine başka bir ucuz devir teslimi tercih etti.
Yetki devrinin işe yaramadığı zamanlar
Fable'ın devir stratejisi evrensel olarak yararlı değildir; görevin devredilebilir bileşenleri olmadığında başarısız olur. Aşağıdaki türden görevlerin ayrıştırılması zor görünüyordu:
- Karar verme ve gönderme arasında devredilecek hiçbir şey olmayan, yalnızca bir avuç lider model turu içeren kısa görevler.
- Kök neden araştırmasının uzun bir muhakeme zinciri olduğu seri hata ayıklama görevleri. Burada, birikmiş bağlam işin kendisidir.
Özellikle, bu görevlerde Fable neredeyse hiç yetki devretmez. İyi bir özet yazan aynı muhakeme, ne zaman bir tane yazmaması gerektiğini de bilir. Ancak bir görev devretmeye değer hiçbir şey sunmadığında, yetki devrinin maliyet üzerinde hiçbir etkisi olmaz.
Üretimde Fusion bunu başka bir katmanda halleder: yetki devri, pahalı modelle hangi işin kaldığını kontrol ederken, yönlendirme pahalı modelin hiç dahil olup olmadığına karar verir.
Kapanış
Bu deneye, Fable'ın 2 kat priminin maliyeti ne kadar artıracağını ölçmeyi bekleyerek başladık. Fable'ın etkili yetki devrinin aslında genel maliyeti düşürdüğünü görünce şaşırdık. Uygulamayı ayrıntılı olarak açıklamak yerine kısıtlamaları ve sonuçları belirtti, düzeltmeleri kendisi yapmak yerine geri bildirim verdi ve çoğu durumda koda asla dokunmadı. Bunlar iyi bir yöneticinin alışkanlıklarıdır.
Yardımcı modeller ucuzladıkça ve geliştikçe, işin daha fazlası onlara devredilebilir. Sınır fiyatlarına değer olmaya devam edecek olan şey muhakemedir: neyin inşa edileceği, neyin kısıtlanacağı ve kimin yazması gerektiği.
