GPT-6 Astra'yı, GPT-5.6 için geliştirdiğim iş akışıyla (belgelenmiş görev kapsamı, depo bağlamı, standart işletim prosedürleri ve teslimattan önce doğrulama) kullanıyorum. Testlerimde, bu talimatların zaten kapsadığı konularda sürekli düzeltmeler yapmak zorunda kaldım. Örnekler arasında, sağlanan bir yazım kılavuzuna geri yönlendirme, test sıklığını yeniden belirtme ve bir tamamlama teslimatında eksik olan istenen çalışmayı talep etme yer alıyor.
Tam
blog yazısını inceleyin veya araştırma deposundaki
veri ve yöntemleri keşfedin.
Altı çalışma günü boyunca 25.254 kaydedilmiş yanıt. 6. Gün ortak kesme noktasında sona eriyor. Kaynak: Astra Saha Çalışması kullanım kayıtları.
Astra'nın altı günlük kayıtlarını, etkinliği ve etrafındaki yönlendirmeyi anlamak için inceledim. Kayıtlar, 557 turda 25.254 yanıt içeriyordu. Yazılı ve sesli katkılarımın ayrı bir incelemesi, 538 anlamlı katkı arasında 78 bölüme ayrılmış 147 düzeltici katkı belirledi. Otuz bir bölüm tekrarlanan düzeltmeler içeriyordu.
Süreç Astra'dan önce başladı
Haziran ayında devam eden Codex çalışması, görev kapsamı ve kısıtlamaları ve sürümlendirilmiş SOP'lar hakkında yazdım. OpenAI'den Codex DX ekibinden Eric Provencher, GPT-5.6 için Temmuz rehberinde, yetki devrederken ayrı görevlendirmeler ve gereksinimlerin korunması dahil olmak üzere yakından uyumlu uygulamaları tanımladı.
Yerleşik yöntemim Astra testlerimde güvenilir bir şekilde taşınmadı. Talimatlar, iş için erişim, test ve teslimat gereksinimlerini kapsıyor.
İncelemenin gösterdiği
Kırk düzeltme bölümü süreç veya SOP endişelerini içeriyordu. Testle ilgili bir bölüm 17 düzeltici katkı içeriyordu. İnceleme ayrıca, 91'i düzeltici kategoriyle örtüşen 154 memnuniyetsizlik ifadesi kaydetti. Aynı sorun bazen birden fazla düzeltme oluşturduğundan, bu sayı bir model başarısızlık oranını ölçmez.
Beş özel kategoride 538 anlamlı katkı: 310 rutin, 63 yalnızca memnuniyetsizlik, 56 yalnızca düzeltme, 91 her ikisi ve 18 belirsiz. 147 düzeltici katkı, her iki kategorideki 91'i içerir. Kaynak: bağlamsal inceleme, protokol 1.1.
Toplam kullanım, 3,35 milyar önbelleğe alınmış girdi tokenı dahil olmak üzere 3,42 milyar kaydedilmiş token idi. Girdinin yaklaşık %98,2'si önbellekten geldi. Tekrarlanan bağlam bu sayaçlara katkıda bulunur, bu nedenle toplam bize ne kadar faydalı işin tamamlandığını veya maliyetinin ne olduğunu söylemez. Çalışma, tam dökümü içerir ve depo etkinliğini ayrı tutar.
Kaydedilmiş token bileşimi: 3,35B önbelleğe alınmış girdi, 61,11M önbelleğe alınmamış girdi ve 10,99M çıktı tokenı. Önbelleğe alınmış girdi, girdinin %98,21'ini oluşturur. Çıktı, akıl yürütmeyi içerir; bu sayaçlar maliyeti veya faydalı işi ölçmez. Kaynak: Astra Saha Çalışması kullanım kayıtları.
Test edilecek iki hipotez
Bitirmeye yönelik kısayolların gereksinimlerin yerini alabileceğinden ve gereksinimlerin yetki devri sırasında kaybolabileceğinden şüpheleniyorum. Her ikisi de kabaca dört veya beş günlük kişisel deneyime dayanan tamamen test edilmemiş hipotezlerdir. Eşleştirilmiş bir GPT-5.6/GPT-6 karşılaştırması yapmadım veya nedensel bir yetki devri hatasının izini sürmedim. Bir dağıtım çalıştırma kitabı güncel olmayan talimatlar içeriyordu.
Yanıtlar farklı deneyimler içeriyordu. Arbaz, ayrıntılı tasarım talimatları altında sapma bildirdi, John Collins ise adımlar açıklandığında iyi talimat takibi bildirdi.
Astra Saha Çalışması'nı incelenmiş toplamlarla, yöntemlerle, şekillerle, bir keşif aracıyla ve bir MIT katkı kitiyle yayınladım. Kiti, ham konuşmaları gizli tutar ve katkıda bulunanların, toplamlarını göndermeden önce incelemesine olanak tanır. İsteğe bağlı memnuniyet ve kolaylık derecelendirmeleri doğrudan toplanır ve kullanımdan ayrı tutulur.
Şu anda düşündüğüm şey bu ve daha fazlasını bilmek istiyorum. Mevcut iş akışınız sorunsuz bir şekilde aktarıldıysa, ne kullandığınızı ve sonucu nasıl doğruladığınızı paylaşın. Depo aracılığıyla katkıda bulunun veya buradan bana ulaşın, özellikle de deneyiminiz benimkiyle çelişiyorsa.
