ฉันได้ใช้ GPT-6 Astra กับเวิร์กโฟลว์ที่พัฒนาขึ้นจาก GPT-5.6 ซึ่งประกอบด้วย ขอบเขตงานที่บันทึกไว้ บริบทของคลังข้อมูล กระบวนการปฏิบัติงานมาตรฐาน และการตรวจสอบก่อนส่งมอบ ในการทดสอบของฉัน ฉันต้องคอยแก้ไขงานที่คำสั่งเหล่านั้นครอบคลุมอยู่แล้วอยู่เรื่อยๆ ตัวอย่างเช่น การชี้กลับไปยังคู่มือการเขียนที่ให้ไว้ การยืนยันจังหวะการทดสอบอีกครั้ง และการขอให้ส่งมอบงานที่ขาดหายไปจากขั้นตอนการส่งมอบ
อ่าน
โพสต์บล็อก , หรือสำรวจ
ข้อมูลและวิธีการ ในคลังงานวิจัย
บันทึกการตอบสนอง 25,254 ครั้งตลอดระยะเวลาการศึกษาหกวัน โดยวันที่ 6 สิ้นสุดที่จุดตัดทั่วไป ที่มา: บันทึกการใช้งาน Astra Field Study
ฉันตรวจสอบบันทึก Astra ที่เก็บไว้เป็นเวลาหกวันเพื่อทำความเข้าใจกิจกรรมและการปรับเปลี่ยนทิศทางที่เกิดขึ้น บันทึกดังกล่าวประกอบด้วยการตอบสนอง 25,254 ครั้งจากการโต้ตอบ 557 ครั้ง การตรวจสอบแยกต่างหากสำหรับการป้อนข้อมูลแบบพิมพ์และเสียงของฉันพบการมีส่วนร่วมแบบแก้ไข 147 ครั้งจากการมีส่วนร่วมที่มีสาระสำคัญ 538 ครั้ง โดยจัดกลุ่มเป็น 78 เหตุการณ์ สามสิบเอ็ดเหตุการณ์มีการแก้ไขซ้ำ
กระบวนการนี้มีมาก่อน Astra
ฉันเขียนเกี่ยวกับ งาน Codex ที่กำลังดำเนินอยู่, ขอบเขตงานและข้อจำกัด, และ SOP ที่มีเวอร์ชัน ในเดือนมิถุนายน Eric Provencher จากทีม Codex DX ของ OpenAI อธิบายแนวทางปฏิบัติที่สอดคล้องกันอย่างใกล้ชิดใน คำแนะนำสำหรับ GPT-5.6 เดือนกรกฎาคม ของเขา ซึ่งรวมถึงการมอบหมายงานที่แตกต่างกันและการรักษาข้อกำหนดเมื่อมอบหมายงาน
วิธีการที่ฉันกำหนดไว้ไม่สามารถถ่ายทอดได้อย่างน่าเชื่อถือในการทดสอบ Astra ของฉัน คำแนะนำครอบคลุมข้อกำหนดด้านการเข้าถึง การทดสอบ และการส่งมอบสำหรับงาน
สิ่งที่การตรวจสอบแสดงให้เห็น
เหตุการณ์การแก้ไขสี่สิบเหตุการณ์เกี่ยวข้องกับข้อกังวลด้านกระบวนการหรือ SOP เหตุการณ์ที่เกี่ยวข้องกับการทดสอบหนึ่งเหตุการณ์มีการแก้ไขถึง 17 ครั้ง การตรวจสอบยังบันทึกการแสดงออกถึงความไม่พอใจ 154 ครั้ง โดย 91 ครั้งทับซ้อนกับหมวดหมู่การแก้ไข ปัญหาเดียวกันบางครั้งก่อให้เกิดการแก้ไขหลายครั้ง ดังนั้นจำนวนนี้จึงไม่ได้วัดอัตราความล้มเหลวของโมเดล
การมีส่วนร่วมที่มีสาระสำคัญ 538 ครั้งในห้าหมวดหมู่ที่ไม่ซ้ำกัน: 310 ครั้งเป็นกิจวัตร, 63 ครั้งเป็นความไม่พอใจเท่านั้น, 56 ครั้งเป็นการแก้ไขเท่านั้น, 91 ครั้งเป็นทั้งสองอย่าง, และ 18 ครั้งไม่ชัดเจน การแก้ไข 147 ครั้งรวมถึง 91 ครั้งที่อยู่ในทั้งสองหมวดหมู่ ที่มา: การตรวจสอบตามบริบท, โปรโตคอล 1.1
ปริมาณการใช้งานทั้งหมดคือ 3.42 พันล้านโทเค็นที่บันทึกไว้ รวมถึง 3.35 พันล้านโทเค็นอินพุตที่แคชไว้ ประมาณ 98.2% ของอินพุตมาจากแคช บริบทที่ซ้ำกันมีส่วนทำให้ตัวนับเหล่านี้ ดังนั้นยอดรวมจึงไม่ได้บอกเราว่างานที่มีประโยชน์เสร็จสิ้นไปเท่าใดหรือมีค่าใช้จ่ายเท่าใด การศึกษานี้รวมถึงรายละเอียดทั้งหมดและแยกกิจกรรมของคลังข้อมูลออกจากกัน
องค์ประกอบของโทเค็นที่บันทึกไว้: อินพุตที่แคช 3.35 พันล้าน, อินพุตที่ไม่แคช 61.11 ล้าน, และโทเค็นเอาต์พุต 10.99 ล้าน อินพุตที่แคชคิดเป็น 98.21% ของอินพุต เอาต์พุตรวมถึงการให้เหตุผล ตัวนับเหล่านี้ไม่ได้วัดต้นทุนหรืองานที่มีประโยชน์ ที่มา: บันทึกการใช้งาน Astra Field Study
สมมติฐานสองข้อที่ต้องทดสอบ
ฉันสงสัยว่าการใช้ทางลัดเพื่อให้เสร็จงานอาจทำให้ข้อกำหนดถูกแทนที่ และข้อกำหนดอาจสูญหายไประหว่างการมอบหมายงาน ทั้งสองเป็นสมมติฐานที่ยังไม่ได้ทดสอบโดยสิ้นเชิง ซึ่งอิงจากประสบการณ์ส่วนตัวประมาณสี่หรือห้าวัน ฉันยังไม่ได้เปรียบเทียบ GPT-5.6/GPT-6 ที่จับคู่กัน หรือติดตามความล้มเหลวในการมอบหมายที่เป็นเหตุเป็นผล คู่มือการดำเนินงานมีคำแนะนำที่ล้าสมัย
ความคิดเห็นที่ได้รับมีประสบการณ์ที่แตกต่างกัน Arbaz รายงานว่าเกิดการเบี่ยงเบนภายใต้คำแนะนำการออกแบบที่มีรายละเอียด ในขณะที่ John Collins รายงานว่าการปฏิบัติตามคำแนะนำเป็นไปด้วยดีเมื่ออธิบายขั้นตอน
ฉันได้เผยแพร่ Astra Field Study พร้อมด้วยข้อมูลสรุปที่ตรวจสอบแล้ว วิธีการ ตัวเลข โปรแกรมสำรวจ และชุดเครื่องมือสนับสนุนภายใต้สัญญาอนุญาต MIT ชุดเครื่องมือจะเก็บการสนทนาดิบไว้เป็นส่วนตัวและให้ผู้มีส่วนร่วมตรวจสอบข้อมูลสรุปของตนก่อนส่ง ข้อมูลการประเมินความพึงพอใจและความง่ายเป็นทางเลือกจะถูกรวบรวมโดยตรงและแยกออกจากการใช้งาน
นี่คือสิ่งที่ฉันคิดในตอนนี้ และฉันต้องการทราบข้อมูลเพิ่มเติม หากเวิร์กโฟลว์ปัจจุบันของคุณถูกถ่ายโอนมาอย่างราบรื่น โปรดแชร์สิ่งที่คุณใช้และวิธีที่คุณตรวจสอบผลลัพธ์ มีส่วนร่วมผ่านคลังข้อมูลหรือติดต่อมาที่นี่ โดยเฉพาะอย่างยิ่งหากประสบการณ์ของคุณขัดแย้งกับของฉัน
