मैं GPT-5.6 के आसपास विकसित अपने वर्कफ़्लो के साथ GPT-6 Astra का उपयोग कर रहा हूँ: दस्तावेज़ीकृत कार्यक्षेत्र, रिपॉजिटरी संदर्भ, मानक संचालन प्रक्रियाएँ, और डिलीवरी से पहले सत्यापन। अपने परीक्षण में, मुझे उन निर्देशों द्वारा पहले से कवर किए गए कार्यों को बार-बार सुधारना पड़ा है। उदाहरणों में प्रदान की गई लेखन मार्गदर्शिका की ओर इशारा करना, परीक्षण की आवृत्ति पर फिर से जोर देना, और पूर्णता हैंडऑफ़ से गायब अनुरोधित कार्य के लिए पूछना शामिल है।
पूरा अध्ययन
पढ़ें ,
ब्लॉग पोस्ट , या शोध रिपॉजिटरी में
डेटा और विधियों का अन्वेषण करें।
छह अध्ययन दिनों में 25,254 रिकॉर्ड किए गए प्रतिसाद। दिन 6 सामान्य कटऑफ पर समाप्त होता है। स्रोत: Astra फील्ड स्टडी उपयोग रिकॉर्ड।
मैंने गतिविधि और उसके आसपास के मार्गदर्शन को समझने के लिए Astra के छह दिनों के संग्रहीत रिकॉर्ड की समीक्षा की। रिकॉर्ड में 557 टर्न में 25,254 प्रतिसाद थे। मेरे टाइप किए गए और वॉइस योगदानों की एक अलग समीक्षा में 538 महत्वपूर्ण योगदानों में से 147 सुधारात्मक योगदान पाए गए, जिन्हें 78 प्रकरणों में समूहित किया गया। इकतीस प्रकरणों में बार-बार सुधार शामिल थे।
यह प्रक्रिया Astra से पहले की है
मैंने जून में चल रहे Codex कार्य, कार्यक्षेत्र और बाधाओं, और संस्करणित SOP के बारे में लिखा था। OpenAI के Codex DX टीम से Eric Provencher ने अपने जुलाई के GPT-5.6 मार्गदर्शन में निकटता से संरेखित प्रथाओं का वर्णन किया, जिसमें अलग-अलग असाइनमेंट और प्रतिनिधि बनाते समय आवश्यकताओं को संरक्षित करना शामिल है।
मेरी स्थापित विधि मेरे Astra परीक्षण में विश्वसनीय रूप से स्थानांतरित नहीं हुई है। निर्देश कार्य के लिए पहुँच, परीक्षण और वितरण आवश्यकताओं को कवर करते हैं।
समीक्षा क्या दर्शाती है
चालीस सुधार प्रकरणों में प्रक्रिया या SOP संबंधी चिंताएँ शामिल थीं। एक परीक्षण-संबंधी प्रकरण में 17 सुधारात्मक योगदान थे। समीक्षा में असंतोष व्यक्त करने वाले 154 योगदान भी दर्ज किए गए, जिनमें से 91 सुधारात्मक श्रेणी के साथ ओवरलैप हुए। एक ही समस्या ने कभी-कभी कई सुधार उत्पन्न किए, इसलिए यह गणना मॉडल विफलता दर को नहीं मापती है।
पाँच अनन्य श्रेणियों में 538 महत्वपूर्ण योगदान: 310 नियमित, 63 केवल असंतोष, 56 केवल सुधार, 91 दोनों, और 18 अस्पष्ट। 147 सुधारात्मक योगदानों में दोनों श्रेणियों के 91 शामिल हैं। स्रोत: प्रासंगिक समीक्षा, प्रोटोकॉल 1.1।
कुल उपयोग 3.42 बिलियन रिकॉर्ड किए गए टोकन था, जिसमें 3.35 बिलियन कैश्ड इनपुट टोकन शामिल हैं। लगभग 98.2% इनपुट कैश से आया। बार-बार आने वाला संदर्भ उन काउंटरों में योगदान देता है, इसलिए कुल हमें यह नहीं बताता कि कितना उपयोगी कार्य पूरा हुआ या इसकी लागत क्या थी। अध्ययन में पूर्ण विवरण शामिल है और रिपॉजिटरी गतिविधि को अलग रखता है।
रिकॉर्ड किए गए टोकन संरचना: 3.35B कैश्ड इनपुट, 61.11M अनकैश्ड इनपुट, और 10.99M आउटपुट टोकन। कैश्ड इनपुट इनपुट का 98.21% है। आउटपुट में तर्क शामिल है; ये काउंटर लागत या उपयोगी कार्य को नहीं मापते हैं। स्रोत: Astra फील्ड स्टडी उपयोग रिकॉर्ड।
परीक्षण करने के लिए दो परिकल्पनाएँ
मुझे संदेह है कि समाप्त करने की ओर शॉर्टकट आवश्यकताओं को विस्थापित कर सकते हैं, और प्रतिनिधि बनाने के दौरान आवश्यकताएँ खो सकती हैं। दोनों पूरी तरह से अप्रयुक्त परिकल्पनाएँ हैं जो लगभग चार या पाँच दिनों के व्यक्तिगत अनुभव पर आधारित हैं। मैंने कोई मिलान GPT-5.6/GPT-6 तुलना नहीं चलाई है या किसी कारणात्मक प्रतिनिधि विफलता का पता नहीं लगाया है। एक डिप्लॉयमेंट रनबुक में पुराने निर्देश थे।
प्रतिक्रियाओं में अलग-अलग अनुभव शामिल रहे हैं। Arbaz ने विस्तृत डिज़ाइन निर्देशों के तहत विचलन की सूचना दी, जबकि John Collins ने चरणों को समझाए जाने पर अच्छे निर्देश-पालन की सूचना दी।
मैंने Astra फील्ड स्टडी प्रकाशित किया है जिसमें समीक्षित समुच्चय, विधियाँ, आंकड़े, एक एक्सप्लोरर और एक MIT योगदान किट शामिल है। किट कच्ची बातचीत को निजी रखता है और योगदानकर्ताओं को इसे जमा करने से पहले अपने समुच्चय की समीक्षा करने देता है। वैकल्पिक संतुष्टि और सरलता रेटिंग सीधे एकत्र की जाती हैं और उपयोग से अलग रखी जाती हैं।
यह वही है जो मैं वर्तमान में सोचता हूँ, और मैं और अधिक जानना चाहता हूँ। यदि आपका मौजूदा वर्कफ़्लो साफ़-साफ़ स्थानांतरित हुआ है, तो साझा करें कि आपने क्या उपयोग किया और आपने परिणाम कैसे सत्यापित किया। रिपॉजिटरी के माध्यम से योगदान करें या यहाँ संपर्क करें, खासकर यदि आपका अनुभव मेरे विपरीत है।
