GPT-6 Astra を、GPT-5.6 向けに開発したワークフロー（文書化されたタスク範囲、リポジトリコンテキスト、標準運用手順、納品前の検証）と共に使用してきました。テスト中、これらの指示で既にカバーされている作業を何度も修正する必要がありました。例としては、提供されたライティングガイドを再度参照させる、テストサイクルを再確認させる、完了報告に依頼した作業が含まれていないことを指摘する、などがあります。
詳しくは、
完全版スタディ 、
ブログ記事 をご覧いただくか、
データと手法 を研究リポジトリでご確認ください。
6 日間の調査期間中に記録された 25,254 件の応答。6 日目は共通のカットオフで終了。出典：Astra フィールドスタディ使用記録。
Astra の記録を 6 日分レビューし、アクティビティとその制御方法を理解しました。記録には、557 ターンにわたる 25,254 件の応答が含まれていました。タイプ入力と音声入力を別途レビューしたところ、538 件の実質的な投稿のうち、147 件が修正に関する投稿であり、これらは 78 のエピソードに分類されました。31 のエピソードでは、繰り返し修正が行われていました。
このプロセスは Astra 以前から存在する
私は 6 月に、進行中の Codex 作業、タスク範囲と制約、バージョン管理された SOP について書きました。OpenAI の Codex DX チームの Eric Provencher 氏は、GPT-5.6 に関する 7 月のガイダンス で、明確な割り当てや委任時の要件保持など、密接に関連するプラクティスを説明しています。
私の確立された方法は、Astra のテストでは確実に引き継がれていません。指示は、作業のアクセス、テスト、納品要件をカバーしています。
レビューの結果
40 件の修正エピソードが、プロセスまたは SOP に関する懸念に関連していました。あるテスト関連のエピソードには、17 件の修正投稿が含まれていました。また、レビューでは、不満を表明する 154 件の投稿が記録され、そのうち 91 件は修正カテゴリと重複していました。同じ問題が複数の修正を生み出すことがあるため、この数値はモデルの障害率を示すものではありません。
5 つの排他的カテゴリにおける 538 件の実質的な投稿：310 件のルーチン、63 件の不満のみ、56 件の修正のみ、91 件の両方、18 件の曖昧。147 件の修正投稿には、両方のカテゴリに含まれる 91 件が含まれます。出典：コンテキストレビュー、プロトコル 1.1。
使用量の合計は 34.2 億記録トークンで、そのうち 33.5 億トークンがキャッシュされた入力トークンでした。入力の約 98.2% がキャッシュから提供されました。繰り返されるコンテキストがこれらのカウンターに寄与するため、この合計から、どれだけの有用な作業が完了したか、またはそのコストがいくらであったかはわかりません。このスタディには完全な内訳が含まれており、リポジトリのアクティビティは別に管理されています。
記録されたトークンの構成：33.5 億のキャッシュ入力、6,111 万の非キャッシュ入力、1,099 万の出力トークン。キャッシュ入力は入力の 98.21% を占めます。出力には推論が含まれます。これらのカウンターはコストや有用な作業を測定するものではありません。出典：Astra フィールドスタディ使用記録。
検証すべき 2 つの仮説
完了への近道が要件を押しのける可能性と、委任中に要件が失われる可能性があると推測しています。どちらも、約 4 ～ 5 日間の個人的な経験に基づく、完全に未検証の仮説です。GPT-5.6 と GPT-6 のマッチド比較は行っておらず、因果関係のある委任の失敗を追跡もしていません。デプロイメントランブックには古い指示が含まれていました。
返信には様々な経験が含まれています。Arbaz 氏は詳細な設計指示のもとでのドリフトを報告 し、John Collins 氏は手順を説明した場合の良好な指示追従を報告 しています。
私は Astra フィールドスタディ を公開しました。これには、レビュー済みの集計データ、方法、図、エクスプローラー、MIT ライセンスのコントリビューションキットが含まれています。このキットは、生の会話を非公開に保ち、コントリビューターが提出前に自分の集計データをレビューできるようにします。オプションの満足度と容易さの評価は直接収集され、使用状況とは別に管理されます。
これは現時点での私の考えであり、さらに詳しく知りたいと思っています。既存のワークフローが問題なく移行できた場合は、使用した方法と結果の検証方法を共有してください。リポジトリを通じてコントリビュートするか、こちらにご連絡ください。特に、あなたの経験が私のものと矛盾する場合は、ぜお聞かせください。
