저는 GPT-5.6을 위해 개발한 워크플로우(문서화된 작업 범위, 저장소 컨텍스트, 표준 운영 절차, 전달 전 검증)를 GPT-6 Astra에서도 계속 사용해 왔습니다. 테스트 과정에서 해당 지침이 이미 다루고 있는 부분을 계속 수정해야 했습니다. 예를 들어, 제공된 작성 가이드를 다시 참조하도록 하거나, 테스트 주기를 재확인하거나, 완료 인계 시 누락된 요청 작업을 요청하는 경우 등이 있었습니다.
전체 연구는
여기 에서,
블로그 게시물은
여기 에서 확인하거나, 연구 저장소에서
데이터 및 방법론 을 살펴보세요.
6일간의 연구 기간 동안 기록된 25,254개의 응답. 6일차는 공통 마감 시점에서 종료됩니다. 출처: Astra 현장 연구 사용 기록.
저는 활동과 이에 대한 조정을 이해하기 위해 6일간의 Astra 기록을 검토했습니다. 기록에는 557턴에 걸쳐 25,254개의 응답이 포함되어 있었습니다. 제가 입력하거나 음성으로 기여한 내용을 별도로 검토한 결과, 538개의 실질적인 기여 중 147개의 수정 기여가 확인되었으며, 이는 78개의 에피소드로 그룹화되었습니다. 31개의 에피소드에서는 반복적인 수정이 이루어졌습니다.
이 과정은 Astra 이전부터 있었습니다
저는 6월에 진행 중인 Codex 작업, 작업 범위 및 제약 조건, 버전 관리된 SOP에 대해 글을 썼습니다. OpenAI Codex DX 팀의 Eric Provencher는 GPT-5.6에 대한 7월 가이드에서 명확한 작업 할당과 위임 시 요구 사항 유지 등 매우 유사한 방식을 설명했습니다.
제가 확립한 방법은 Astra 테스트에서 안정적으로 이어지지 않았습니다. 지침은 해당 작업에 대한 접근, 테스트 및 전달 요구 사항을 다루고 있습니다.
검토 결과
40개의 수정 에피소드가 프로세스 또는 SOP 문제와 관련되었습니다. 한 테스트 관련 에피소드에는 17개의 수정 기여가 포함되어 있었습니다. 또한 검토 결과 불만족을 표현한 154개의 기여가 기록되었으며, 이 중 91개는 수정 범주와 중복되었습니다. 동일한 문제가 여러 번 수정을 발생시키기도 했으므로, 이 수치가 모델 실패율을 측정하는 것은 아닙니다.
538개의 실질적인 기여는 5개의 배타적 범주로 분류됩니다: 일상 310개, 불만족만 63개, 수정만 56개, 둘 다 91개, 모호함 18개. 147개의 수정 기여에는 둘 다에 해당하는 91개가 포함됩니다. 출처: 맥락 검토, 프로토콜 1.1.
총 사용량은 34억 2천만 개의 기록된 토큰으로, 여기에는 33억 5천만 개의 캐시된 입력 토큰이 포함됩니다. 입력의 약 98.2%가 캐시에서 제공되었습니다. 반복되는 컨텍스트가 이러한 카운터에 기여하므로, 총계만으로는 유용한 작업이 얼마나 완료되었는지 또는 비용이 얼마나 들었는지 알 수 없습니다. 연구에는 전체 분석이 포함되어 있으며 저장소 활동은 별도로 유지됩니다.
기록된 토큰 구성: 캐시된 입력 33억 5천만 개, 캐시되지 않은 입력 6,111만 개, 출력 토큰 1,099만 개. 캐시된 입력은 입력의 98.21%를 차지합니다. 출력에는 추론이 포함됩니다. 이 카운터는 비용이나 유용한 작업을 측정하지 않습니다. 출처: Astra 현장 연구 사용 기록.
테스트할 두 가지 가설
저는 작업을 마무리하기 위한 지름길이 요구 사항을 대체할 수 있고, 위임 과정에서 요구 사항이 손실될 수 있다고 의심합니다. 둘 다 대략 4~5일간의 개인적인 경험에 기반한 전혀 테스트되지 않은 가설입니다. 저는 GPT-5.6/GPT-6 간의 일치된 비교를 실행하지 않았으며, 인과적인 위임 실패를 추적하지도 않았습니다. 배포 실행북에는 오래된 지침이 포함되어 있었습니다.
댓글에는 다양한 경험담이 포함되어 있습니다. Arbaz는 상세한 설계 지침 하에서의 표류를 보고했고, John Collins는 단계가 설명되었을 때 지침을 잘 따랐다고 보고했습니다.
저는 검토된 집계 데이터, 방법론, 그림, 탐색기 및 MIT 기여 키트가 포함된 Astra 현장 연구를 공개했습니다. 키트는 원본 대화를 비공개로 유지하며, 기여자가 제출 전에 자신의 집계 데이터를 검토할 수 있도록 합니다. 선택적 만족도 및 용이성 평가는 직접 수집되며 사용 데이터와 별도로 유지됩니다.
이것이 제 현재 생각이며, 더 많은 것을 알고 싶습니다. 기존 워크플로우가 문제없이 전환되었다면, 사용한 방법과 결과를 어떻게 검증했는지 공유해 주세요. 저장소를 통해 기여하거나 여기로 연락해 주세요. 특히 귀하의 경험이 제 경험과 상반되는 경우 더욱 그렇습니다.
