En yeni Claude modellerimizin en güzel yanlarından biri, Claude Code'da prompt önbelleğini bozmadan harcanan efora nasıl yanıt verdikleri; ancak bu konuda kullanıcılardan çok fazla soru aldım. Efor aslında nedir ve hangi efor seviyesini ne zaman kullanmalısınız? Neden überhaupt efor diye bir şeye ihtiyacımız var?
Bunu yanıtlamak için eval'lara derinlemesine dalmaya ve günlük işlerimde kendi efor testlerimi yapmaya karar verdim.
not: bu yazıya ait daha fazla interaktif diyagram ve açıklamayı şu adreste görebilirsiniz: https://claude.dev/blog/spending-your-effort/
Genel hatlarıyla şunu gördüm: Efor, Claude'un ne kadar doğrulama ve uç durum (edge case) testi yapacağını ve kendi muhakemesini ne ölçüde devreye sokacağını değiştirmenin harika bir yolu.
Ekstra efor; donanım, kod incelemesi ve güvenlik gibi doğrulama ile uç durum testlerinin daha işe yaradığı alanlarda daha iyi sonuçlar verdi.
Ancak düşük ve orta efor, işleri hızlıca halletmek ve Claude'la sürekli iletişim halinde kalmak için biçilmiş kaftandı.
Normal yazılım mühendisliği işlerinde artık şöyle bir döngü izliyorum: Önce modelin benimle bir mülakat yapmasını sağlıyorum, ardından düşük/orta eforla kodu yazdırıyorum, ortaya çıkan işi inceliyorum ve son olarak yüksek eforla doğrulama yaptırıyorum.
Efor nedir?
Genel anlamıyla efor, modele görev için ne kadar hesaplama gücü harcamasını istediğinize dair bir yaklaşık değer verir. Bu biraz da görevin zorluğunu nasıl modellediğinizle ilgilidir.
Şöyle düşünün: Biri sizden bir işi aralıksız 12 saatte yapmanızı isterse, sadece o işi bitirmenizi ve elinizden gelenin en iyisini ortaya koymanızı beklediğini varsayarsınız. Aynı işi 1 saat içinde yapmanızı isterse, görevin gereksinimlerini karşılayan en iyi versiyonu sunmaya çalışır ve gerisini iterasyonlara bırakırsınız.
Ya da itiraz edip bu işin en az 3 saat süreceğini söyler ve teslim etmek için 3 saat çalışırsınız.
Efor kavramını da aynı şekilde düşünmelisiniz. Claude her zaman görevinizi makul bir şekilde yerine getirmeye çalışır, ancak daha yüksek efor seviyelerinde Claude muhakeme ve doğrulama için daha bağımsız hareket eder.
Efor eğrileri
Fable 5.1 ve Opus 5.5'in efor eğrileri şu ana kadarki en iyilerimiz; her seviyede benchmark skorlarında ve tüketilen token sayısında bir artış görülüyor. Aşağıda, bu yazı için yaptığım eval çalışmaları sırasında ölçülen, efor seviyelerine göre Terminal Bench 3.0 skorlarını gösteren bir grafik bulunuyor.
Peki bu pratikte ne anlama geliyor? Bunu değerlendirmek için farklı efor seviyelerinde çeşitli görevler denedim ve benchmark'ları didik didik inceledim.
Eforla geliştirme yapmak
Modellerin nasıl çalıştığını anlamanın en iyi yolu deney yapmaktır. Yapacağı işi anlamak için Opus 5.5 üzerinde aynı görevleri birkaç farklı efor seviyesinde denedim. Bunu çok çeşitli işlerde yaptım ama burada konuyu birkaç basit örnekle açıklayacağım.
Az detaylandırılmış geliştirme görevi
Claude'dan "kişisel bir fitness ve antrenman takip uygulaması oluşturmasını" istersem, efor seviyesi uygulamanın ne kadar kapsamlı olacağını dramatik biçimde değiştirir ve ayrıca Claude'un süreç boyunca daha fazla tercih yapmasına yol açar. Düşük eforda fitness uygulaması sadece bir kayıt defteri ve basit bir grafikten ibaret kalır. Daha yüksek efor seviyelerinde uygulama ek detaylarla birlikte daha karmaşık hale gelir. Maksimum eforda ise bir ısı haritası bile eklenir.
Üzerinden ilerleyebileceğim basit bir temel isteseydim, düşük efor bu işi görürdü. Maksimum efor ise Claude'un tek seferde üretebileceği en iyi sonucu istediğimde devreye girerdi.
Hafif detaylandırılmış tasarım görevi
Peki ya zaten oldukça net tanımlanmış bir görevim varsa ama Claude'la biraz keşif yapmak istiyorsam? Örnek olarak ondan Claude Code'daki /config menüsünü yeniden tasarlamasını istedim. Her denemede kabaca aynı fikir ortaya çıktı: alt menüler ve daha iyi bir arama kullanmak.
Düşük eforda (1 dakika sürdü), fikri aktaran ama Claude Code'a pek benzemeyen interaktif bir taslak elde ettim.
Maksimum eforda (28 dakika sürdü), Claude Code'a çok benzeyen bir mockup'ın yanı sıra farklı akışlar için bir dizi adım adım açıklama aldım.
Amacım iterasyon yapıp geri bildirim vermek olsaydı, düşük efor beni çok daha hızlı hedefe ulaştırırdı. Ancak maksimum efor bana ilk andan itibaren çok daha cilalanmış bir şey sunuyor. Bu özel görev için, Claude'un vizyonunu anlamak adına düşük eforu kullanmayı tercih ettiğimi söyleyebilirim.
Yüksek detaylandırılmış geliştirme görevi
Peki ya Claude'a bolca detay verseydim? Claude'dan fitness uygulaması hakkında benimle derinlemesine bir mülakat yapmasını istedim ve ardından bu spesifikasyonu farklı modeller tarafından farklı efor seviyelerinde hayata geçirilmesi için verdim.
Bu spesifikasyon verildiğinde modellerin çok daha benzer davrandığını gördüm. Oldukça benzer görünen ve benzer implementasyonlara sahip ama detayları farklılaşan tasarımlar elde ettim; maksimum eforda Claude bazı detayları sadeleştirmek için biraz vakit harcadı.
Çıkarımlar
Sıradan yazılım mühendisliğinde, özellikle de yeni özellik geliştirmede, efor seviyesi büyük ölçüde sürece ne kadar dahil olmak istediğime bağlı. Düşük efor, Claude'un hızlıca bir başlangıç noktasıyla yanıt vermesini sağlar; daha yüksek efor seviyeleri daha fazla işin bitmesini sağlar ama Claude benim adıma daha fazla varsayımda bulunur.
Özellikle özellik geliştirmede kullandığım ve çok verimli bulduğum bir döngü şu şekilde:
- Claude'a bir spesifikasyon verin ve eksik olduğum detaylar hakkında sizinle mülakat yapmasını isteyin
- Düşük eforla hayata geçirin
- Ana fikri doğru anlayıp anlamadığından emin olmak için inceleyin, gerekirse düşük eforla iterasyon yapın
- Yüksek eforla doğrulayın ve test edin
Efor seviyeleri zor görevlerde çıktıyı nasıl etkiler?
Ama bunlar elbette Claude'un rahatlıkla tamamlayabildiği basit örnekler. Peki farkın, Claude'un görevi tamamlayıp tamamlayamayacağı arasında olduğu durumlarda ne oluyor?
Bu zor problemleri bulmak için benchmark'lara bakmanız gerekir, bu yüzden hoşuma giden bir tanesine daldım: Topluluk kaynaklı bir benchmark olan Terminal Bench 3.
Terminal-Bench 3.0 problemleri genel olarak güvenlik, donanım, ML, bilim, yazılım, operasyonlar ve medya gibi kategorilere ayrılabilir. Tüm problemleri buradan görebilirsiniz: https://github.com/harbor-framework/terminal-bench/releases/tag/v3.0.0; topluluktan derlendikleri için herkes katkıda bulunabiliyor.
Bu modellerin karşılaştığı problem türlerini kavramak için okunmaya değer. Birçok görevin kapsamına ve iddialı yapısına şaşırdığımı fark ettim. Karşılaşacağım ortalama bir görevden çok daha karmaşıklar.
Örneğin görevlerden bazıları şunlardı:
- Donanım (retro-console-soc): Küçük bir FPGA'ya sığan ve bir test ROM'u render eden, Verilog ile yazılmış 8 bitlik bir oyun konsolu inşa etmek.
- Bilim (takens-embedding-lean): Takens gömme teoremini Lean 4'te formel olarak kanıtlamak.
- ML (mp-checkpoint-consolidation): Mixture-of-experts checkpoint'inin 16 parçasını, referans logit'leri yeniden üreten tek bir dosyada birleştirmek.
- Operasyonlar (intrastat-meldung): Bir şirketin ay sonu AB ticaret istatistikleri beyannamesini uçtan uca yürütmek.
- Medya (layout-config-recreation): Bir poster görselini düzenlenebilir bir layout dosyası olarak yeniden oluşturmak.
Uç durumların çok olduğu senaryolarda yüksek efor seviyeleri işe yarar
Terminal Bench 3 sonuçlarını okuduktan sonra çıkardığım ana ders şuydu: Yüksek efor, gizli uç durumların bol olduğu görevler için en iyisidir.
Temiz bir örnek html-js-filter; bir sayfaya JavaScript sızdırmanın tüm yollarını engelleyen bir HTML temizleyici (sanitizer) isteyen bir Terminal-Bench 3.0 görevi. Fable 5.1, düşük eforda 1/5'ten xhigh eforda 5/5'e çıktı.
Düşük eforda tipik bir deneme yaklaşık 2 dakika sürüyor. Bu denemelerin her birinde filtre kabaca tek seferde yazıldı ve ardından elle hazırlanmış tek bir sayfaya karşı test edildi.
Yüksek eforlu bir çalışma ise yaklaşık 33 dakikada tamamlanıyor. İzlediğim çalışmada model önce ilk taslağını adversarial bir yaklaşımla inceledi, ardından hata kontrolü için kurulu parser'ın kaynak kodunu okudu, girdiyle aynı çıktıyı verene kadar birçok temiz test senaryosu çalıştırdı, standart bir XSS test paketi uyguladı ve son olarak rastgele belge üreten bir fuzzer yazdı.
HTML temizleyici gibi uç durumların kritik olduğu bir şey için bu ekstra efor kesinlikle buna değer. Performans optimizasyonu veya güvenlik incelemesi gibi yüksek üretim gereksinimleri olan karmaşık görevlerde de kapsamlılık uğruna daha fazla token harcamak mantıklıdır.
Ancak her görev için bu düzeyde bir efora ihtiyacınız yok.
Aşağıdaki diyagram, farklı modeller ve efor seviyeleri genelinde her bir Terminal-Bench 3.0 sonucunu ve nasıl başarısız olduklarını gösteriyor. Genel olarak, eforu artırmak eksik uç durum kaynaklı hataları (mor bloklar) azaltma eğilimindedir, ancak modelin yanlış yaklaşımı benimsediği durumları (mavi bloklar) çözmez.
Eforun yardımcı olduğu problem alanları
Bu modelleri TerminalBench üzerinde değerlendirirken benim için en ilginç çıkarımlardan biri, bazı problem alanlarının efordan diğerlerine kıyasla daha fazla fayda sağlamasıydı. Aşağıdaki diyagramda bunun dağılımını görebilirsiniz:
Bunu somutlaştırmak için Terminal Bench 3.0'dan farklı alanlara ait, Opus 5.5'in düşük eforda başarısız olup yüksek eforda başarılı olduğu birkaç problem seçtim; bunun sebebi çoğunlukla modelin uç durumları test edip hesaba katmasıydı:
mvcc-lsm-compaction: Sıkıştırma (compaction) işlemini bozmadan, çökme raporundan yola çıkarak bir depolama motoru hatasının düzeltilmesini isteyen bir Terminal-Bench 3.0 görevi. Opus 5.5, düşük eforda 0/5'ten xhigh eforda 4/5'e çıktı.
Düşük eforda (deneme başına yaklaşık bir dakika), Claude kodu derlemeden veya yeniden üreticiyi (reproducer) çalıştırmadan önce düzenliyordu ve yeni testinin orijinal hatayı yakalayıp yakalamayacağını kontrol etmiyordu.
Xhigh eforda (yaklaşık 11 dakika), Claude önce çökmeyi yeniden üretti, asla sıkıştırma yapmayan bir referansa karşı rastgeleleştirilmiş bir test yazdı ve testlerinin yarım kalmış düzeltmelerde başarısız olup olmadığını kontrol etti.
cli-2ph-simple: Python ile yazılmış bir CLI lineer programlama çözücüsü isteyen bir Terminal-Bench 3.0 görevi. Opus 5.5, düşük eforda 0/5'ten yüksek eforda 5/5'e çıktı.
Düşük eforlu denemeler çözücüyü tek seferde yazdı, birkaç küçük problemle kontrol etti ve yaklaşık 10 bin token civarında durdu. Son mesajda Claude büyük problemlerde yavaş olabileceği konusunda uyardı ama bunu test etmedi.
Yüksek eforlu denemelerde ise Claude çözücüsünü ayrı bir kaba kuvvet (brute-force) çözücüsüne karşı rastgele problemlerle test etti, ardından daha büyük olanları zamanladı, çok uzun süren veya çöken durumları tespit etti ve arama mantığını yeniden ele aldı.
gsea-proteomics: Hangi sekiz tedavinin hedef dokuya benzediğini bulmak için proteomik verileri üzerinde gen seti zenginleştirme analizi (GSEA) isteyen bir Terminal-Bench 3.0 görevi. Opus 5.5, düşük eforda 0/5'ten yüksek eforda 4/5'e çıktı.
Düşük eforda Claude, verileri hazırlamak için kulağa mantıklı gelen bir yöntem seçti, analizi o şekilde çalıştırdı ve sonucu raporladı.
Yüksek eforda ise Claude verileri hazırlamak için iki farklı yol denedi, anlamlı tedaviler listesinin değiştiğini fark etti ve doğru olanı seçmeden önce nedenini araştırdı.
Eğer kullanıcı sürece dahil olsaydı, Claude problemi nasıl kurgulayacağı konusunda kullanıcıya danışabilirdi; ancak kullanıcı döngüde olmadığında yüksek efor daha iyi sonuç veriyor.
Claude Code'da farklı efor seviyeleri ne zaman kullanılmalı?
Hangi efor seviyesinin ne zaman kullanılacağına dair benim pratik kuralım şu şekilde:
- Düşük: Sürecin içinde kalarak hızlı yanıtlar almak istediğimde, örn. beyin fırtınası, taslak çizimi, kolay değişiklikler
- Orta: Günlük yazılım mühendisliği işlerimin çoğu için, örn. yeni özellik implementasyonu.
- Yüksek: Doğrulamanın önemli olduğu veya uç durumların bulunduğu işler için, örn. brownfield bir kod tabanında hata düzeltme.
- Maksimum: Zor problemleri çözmesi için Claude'un tamamen otonom çalışmasını istediğimde, örn. bir uygulamanın uçtan uca inşası ve doğrulanması, kritik yazılımlarda güvenlik açıklarının bulunması.
Görevinize göre veya hatta sohbetin ortasında bile Claude Code'da /effort komutunu kullanarak Opus 5.5 ve Fable 5.1 için efor seviyesini değiştirmeyi deneyin ve bunun kendi sezgilerinizle örtüşüp örtüşmediğini bana bildirin.
