我一直在使用 GPT-6 Astra,搭配我為 GPT-5.6 開發的工作流程:記錄任務範圍、儲存庫上下文、標準作業程序,以及在交付前進行驗證。在我的測試中,我發現自己必須不斷修正那些已經被這些指令涵蓋的工作。例子包括重新指向已提供的寫作指南、重申測試節奏,以及要求補上完成交接時遺漏的請求工作。
請閱讀
完整研究 、
部落格文章 ,或探索研究儲存庫中的
資料與方法 。

在六個研究日內記錄了 25,254 則回應。第 6 天結束於共同的截止點。資料來源:Astra 實地研究使用記錄。
我回顧了六天的 Astra 保留記錄,以了解活動情況以及圍繞它的引導。這些記錄包含了 557 輪對話中的 25,254 則回應。另外,針對我輸入和語音貢獻的獨立審查,在 538 則實質貢獻中辨識出 147 則修正性貢獻,這些修正性貢獻被歸類為 78 個事件。其中有 31 個事件包含重複的修正。
這個流程早於 Astra
我在六月寫過關於正在進行的 Codex 工作、任務範圍與限制,以及版本化的 SOP。OpenAI Codex DX 團隊的 Eric Provencher 在他七月的 GPT-5.6 指南中描述了非常接近的做法,包括明確的任務指派以及在委派時保留需求。
我既有的方法在我的 Astra 測試中並未可靠地延續下來。這些指令涵蓋了工作的存取、測試和交付要求。
審查結果顯示
有 40 個修正事件涉及流程或 SOP 問題。一個與測試相關的事件包含了 17 則修正性貢獻。審查還記錄了 154 則表達不滿的貢獻,其中 91 則與修正類別重疊。同一個問題有時會產生多次修正,因此這個數字並非衡量模型失敗率的指標。

538 則實質貢獻分為五個互斥類別:310 則常規、63 則僅有不滿、56 則僅有修正、91 則兩者兼具,以及 18 則模糊不清。147 則修正性貢獻包含了兩者兼具類別中的 91 則。資料來源:上下文審查,協議 1.1。
總使用量為 34.2 億個記錄 Token,其中包括 33.5 億個快取輸入 Token。約 98.2% 的輸入來自快取。重複的上下文會增加這些計數器,因此總數無法告訴我們完成了多少有用工作或其成本。該研究包含了完整的細項,並將儲存庫活動分開記錄。

記錄的 Token 組成:33.5 億快取輸入、6111 萬非快取輸入,以及 1099 萬輸出 Token。快取輸入佔輸入的 98.21%。輸出包含推理;這些計數器不衡量成本或有用工作。資料來源:Astra 實地研究使用記錄。
兩個待測試的假設
我懷疑為了完成任務而走捷徑可能會取代需求,而需求也可能在委派過程中遺失。這兩個都是完全未經測試的假設,僅基於大約四到五天的個人經驗。我沒有進行過配對的 GPT-5.6/GPT-6 比較,也沒有追溯過因果性的委派失敗案例。一份部署執行手冊中包含過時的指示。
回覆中包含了不同的經驗。Arbaz 報告了在詳細設計指令下出現的偏差,而 John Collins 則報告了在步驟被解釋清楚時,指令遵循表現良好。
我已經發布了 Astra 實地研究,其中包含審查後的彙總資料、方法、圖表、一個探索器,以及一個 MIT 貢獻工具包。該工具包會將原始對話保密,並允許貢獻者在提交前審查自己的彙總資料。可選的滿意度和易用性評分會直接收集,並與使用資料分開保存。
這是我目前的看法,而且我想了解更多。如果你現有的工作流程順利轉移過來了,請分享你使用了什麼方法以及如何驗證結果。請透過儲存庫貢獻或在此聯繫我,特別是如果你的經驗與我的相矛盾。





