Bu yazıyı bekleyemiyor ve hemen okumak istiyorsan, şu prompt'u kopyala/yapıştır yap ve Claude Code / Codex / Grok'a gönder:
XERJ'i kur (dokümanlar:
https://xerj.org/llms.txt ), bu projenin kaynaklarını indeksle ve referans kodlamayı ayarla: yapmakta olduğumuza en yakın açık kaynak depolarını klonla ve indeksle, kod yazmadan önce bir sorunu nasıl çözdüklerini ara.
çoğu kişi Claude Code'u pahalı bir stajyer gibi kullanıyor, işte onu her adımda daha da zeki hale getirmenin yolu (gerçekten)
Ona bir görev veriyorsun. Birkaç soru soruyor. Depoyu tarıyor, kodunun nasıl çalıştığını tahmin ediyor, bir uygulama yazıyor, bir şey bozuluyor. Hatayı yapıştırıyorsun. Yeniden yazıyor. Başka bir şey bozuluyor.
Bu adımların her biri, ödediğin token'lar demek.
Ve Claude genellikle sorun zor olduğu için takılıp kalmıyor. Takılıp kalmasının sebebi, zaten bir yerlerde var olan bir cevabı yeniden keşfetmesini sağlaman; ister kendi deponda, ister birkaç bin geliştiricinin uç durumları çoktan bulduğu bir açık kaynak projesinde olsun.
XERJ bunu düzgünce test etti. 8 kodlama görevi, 4 dil, her kurulum için 16 çalıştırma, token sayıları doğrudan Claude -p'den alındı.
hafızadan: 260.916 çıktı token'ı referanstan: 9.982 çıktı token'ı
Hafıza 16 görevden 11'ini çözdü. Referans ise 16'sını da çözdü.
O halde kendine gel ve bunu gerçekten oku ↓↓↓
ödediğin döngü
Normal bir oturum şöyle işler.
Ne istediğini tarif edersin. Claude keşfeder. Senin kalıpların, hata yönetimin, verinin yapısı hakkında varsayımlarda bulunur. Bu varsayıma göre kod yazar. Varsayım bir yerde yanlıştır, bir şey bozulur, hatayı açıklarsın, yeniden yazar ve kafandaki çıktıya ulaşana kadar bu döngü devam eder.
İnsanlar bu döngüyü Claude'un kod yazmada kötü olduğu şeklinde okur. Tam tersi. Claude, çalışan bir örneği alıp yeni bir duruma uyarlamakta çok iyidir. Döngü, ortamda hiç örnek olmadığında oluşur, bu yüzden oturumun ilk yarısını bir tane oluşturmakla geçirir.
Çıktı token'ları pahalı olanlardır, Claude modellerinde girdinin yaklaşık 5 katı fiyatlandırılır. Yani bu döngünün her turu en yüksek tarifeden faturalanır.
bir prompt ile bir referans aynı şey değildir
prompt bir talimattır. referans ise kanıttır.
Şeyin tam olarak nasıl davranması gerektiğini anlatan iki bin kelime yazabilirsin ve Claude yine de bu tanımı bir uygulamaya çevirmek ve atladığın her şeyi tahmin etmek zorunda kalır.
Çalışan bir uygulama, asla yazmayacağın kısımları zaten içerir:
mimari, hata yönetimi, yeniden deneme mantığı, iki yıl önce birinin üretimde karşılaştığı uç durum, bir fonksiyonun neden o şekilde bölündüğü.
Bunlardan prompt'ta bahsetmedin çünkü önemli olduklarını bilmiyordun.
İşte bunun en keskin versiyonu. Bir derleyici eninde sonunda bir metod adını sızdırır. Sana fonksiyonun push değil absorb olarak adlandırıldığını söyler ve oraya ulaşmak için 20 ila 25 kat daha fazla token harcar. Bir derleyici asla bir sözleşmeyi sızdırmaz. Araç zincirindeki hiçbir şey sana bu yapının okunabilmesi için önce mühürlenmesi gerektiğini söylemez. Bu kural, kütüphaneyi yazan kişinin kafasında ve fonksiyonun gövdesinde yaşar ve hiçbir prompt yazma çabası onu geri getiremez, çünkü varlığından haberdar değilsindir.
İşte bu yüzden bu yöntem aynı anda hem token'ları azaltır hem de kaliteyi artırır. Daha fazla kullanışlı bağlam girer, daha az tahmin, daha az yeniden deneme olur.
testlerin gösterdiği
Grep tabanlı kuruluma kıyasla, referans kodlama aynı 8 görevde 2,7 kat daha az çıktı token'ı kullandı. Kollar arasındaki toplam maliyet hafızadan 11,18$, grep ile 3,27$, referans ile 1,58$ oldu.
Grep çözüm gibi görünür ama çoğunlukla öyle değildir. Grep, ajana nereye bakacağını söyler, sonra ajan yine de dosyayı anlamak için bağlama okumak zorunda kalır. Bu çalışmadaki bir külliyat, tam da bunu yaparak 1,06 milyon girdi token'ı çekti. Daha ucuz token'lar, devasa bir yığın ve ayrıca katlandığın her ajan adımı.
Sonra daha büyük bir çalışma var. Çalışma için sıfırdan 5 dilde yazılmış 13 kütüphane, her biri derlenip kendi testlerini geçiyor, her biri derleyicinin seni uyaramayacağı bir çalışma zamanı kuralı taşıyor. Bilerek bu şekilde inşa edildi, çünkü modelin zaten ezberlediği kod üzerinde geri getirmeyi test edemezsin.
çıplak, hafızadan: 21'de 1 geri getirme ile: 21'de 21
21,90$'a karşı 3,38$.
Bu daha ucuz bir sonuç değil, bambaşka bir sonuç.
İçindeki en temiz örnek bir Java görevi. Salt eklemeli bir defter oluştur, tekrar oynatmadan önce mühürle, bir kontrol noktasına kadar kısalt. Hafızadan her şeyi yeniden icat etti, 503 satır, kabaca 36.000 token, yanlış kısaltma anlambilimi, testi geçemedi. Referans verildiğinde dört satır yazdı. 103 token. Geçti.
Dillere göre dağılım, değerin nerede olduğunu söylüyor. Python 14.752'den 214'e düştü. C 18.792'den 988'e düştü. Java 27.108'den 98'e düştü. JavaScript sadece 4.300'den 646'ya gitti, çünkü önek ağacı bilinen bir yapı ve model cevabı zaten yarı yarıya biliyordu.
XERJ'i normal günlük işlerinde kullanan geliştiriciler kabaca 5 kat daha az token bildiriyor. Bu, kıyaslama yerine kişisel bildirim olduğu için, bunu taban değil, alt sınır olarak kabul et.
neden daha uzun bir prompt bunu düzeltmez
Bir süre boyunca kötü çıktının cevabı hep aynıydı. Daha iyi bir prompt yaz. Daha fazla bağlam ekle. Mimarisi açıkla.
Ve bazen bu işe yarar.
Ama bir prompt, henüz yazmadığın bir çözümü tarif etmektir. Bir referans ise birinin zaten gönderdiği ve hatalarını ayıkladığı bir çözümdür. Sadece bir bakıcının sabah 3'te hız sınırına takılıp aceleyle yamaladığı için var olan yeniden deneme mantığına giden yolu tarif ederek ulaşamazsın.
Kod zaten orada. Ona giden kararları açıklamak zorunda değilsin.
referansı bulmak asıl iş
İşte burası çöküyor.
Bunu elle yapmak, GitHub'ı açmak, yarı yarıya uyan depoları okumak, eski pull request'leri didik didik etmek, sonra sekiz ay önceki kendi kod tabanını açıp dosyaya ne ad verdiğini hatırlamaya çalışmak demektir. Kullanılabilir bir şey bulana kadar özelliği çoktan yazmış olabilirsin.
Bu yüzden arama ucuz olmalı, yoksa kimse ikinci kez yapmaz.
XERJ bunun için var. Kodu indeksler ve dosya adı veya anahtar kelime yerine çözdüğün probleme göre arama yapmanı sağlar, ardından eşleşen uygulamayı doğrudan Claude'a verebileceğin bir referans olarak çıkarır. https://xerj.org
nasıl çalıştırılır
1) kurulum prompt'unu kopyala/yapıştır yap ve Claude Code oturumuna gönder
XERJ'i kur (dokümanlar:
https://xerj.org/llms.txt ), bu projenin kaynaklarını indeksle ve referans kodlamayı ayarla: yapmakta olduğumuza en yakın açık kaynak depolarını klonla ve indeksle, kod yazmadan önce bir sorunu nasıl çözdüklerini ara.
2) kodlama ajanının yanıtını kontrol et ve referans olarak klonlaman için projeler öner
Ne inşa ediyorsan, aynısını başka kimlerin yaptığını her zaman bilirsin. Bu aşamada Claude Code tarafından bazı projeler zaten bulunmuş olacaktır ve sen kendi seçimlerinle daha fazlasını ekleyebilirsin. 5-10 genellikle yeterlidir, ancak ne kodladığına bağlıdır.
3) bir sonraki ürün özelliğini yap ve sonuçları kontrol et
Bırak gitsin ve yeni sonuçların tadını çıkar (ya da çıkarma). İstersen her zaman boşa kodlamaya geri dönebilirsin, ama farkı anında göreceğine eminim.
4) çalışır durumda tut ve topluluğa geri bildiriminle yardım et
Bu şekilde tamamladığın her görev, bir sonraki için referans haline gelir. Kütüphane birikir. Her zaman.
ne zaman atlanmalı
Model kodu zaten biliyorsa, bu sadece bir vergidir, başka bir şey değil. Ancak bu pek sık rastlanan bir durum değildir.
Bunu da ölçtüler, Valkey ve Memcached üzerinde, Claude'un kesinlikle eğitildiği gerçek kamuya açık kod. Hafızadan 1,49$'a 6'da 6 puan aldı. Geri getirme 4,40$'a 6'da 5 puan aldı. Sonuncu oldu ve hiçbir şey yapmamaktan üç kat daha pahalıya mal oldu.
Yani çizgi bir tarafta özel, tescilli veya gerçekten yabancı kod, diğer tarafta modelin zaten yediği her şey.
Yaptığın şey daha önce hiç yapılmadıysa, işaret edecek bir şey yoktur ve onu tarif etmeye geri dönersin.
Referans, kullanmadığın bir framework sürümüne göre yazılmışsa, kurtardığından daha pahalıya mal olur.
Ve görev dört satır uzunluğundaysa, sadece yaz gitsin.
hala açık olanlar
13 kütüphane çalışma için inşa edildi, bu da onları yapı gereği yabancı ve aynı zamanda küçük kılıyor. Henüz kimse bunu gerçekten büyük bir özel kod tabanına karşı çalıştırmadı. Beklenti, farkın orada daha da açılması yönünde, çünkü grep maliyeti ağacın boyutuyla artarken geri getirme sabit kalır, ancak bu birisi ölçene kadar sadece bir tahmin.
Yukarıdaki her sayı, XERJ'in kendi yayınladığı kıyaslamadan, depolarındaki ham çalıştırma verilerinden alınmıştır. https://xerj.org/case-studies/reference-coding
çıkarılacak ders
Farklı bir modele ihtiyacın yok ve Claude Code'u bırakmana da gerek yok.
Her göreve sıfırdan başlamayı bırakmalısın, çünkü yaptığın şey muhtemelen zaten deponda veya iki yıl önce çözmüş bir açık kaynak projesinde bir yerlerde var.
Eğer birisi zaten çözdüyse, Claude'a onların kodunu ver ve onun üzerinden çalışmasına izin ver. Ve sana hiçbir maliyeti yok, sadece bir prompt.
