Venho usando o GPT-6 Astra com o fluxo de trabalho que desenvolvi para o GPT-5.6: escopo de tarefa documentado, contexto do repositório, procedimentos operacionais padrão e verificação antes da entrega. Nos meus testes, precisei corrigir constantemente trabalhos que essas instruções já cobriam. Exemplos incluíram apontar de volta para um guia de redação fornecido, reafirmar a cadência de testes e solicitar trabalhos solicitados que estavam faltando em uma conclusão de entrega.
Leia o
estudo completo , o
post do blog , ou explore os
dados e métodos no repositório da pesquisa.
25.254 respostas registradas ao longo de seis dias de estudo. O dia 6 termina no ponto de corte comum. Fonte: registros de uso do Astra Field Study.
Revisei seis dias de registros retidos do Astra para entender a atividade e os ajustes em torno dela. Os registros continham 25.254 respostas em 557 turnos. Uma revisão separada das minhas contribuições digitadas e por voz identificou 147 contribuições corretivas entre 538 contribuições substantivas, agrupadas em 78 episódios. Trinta e um episódios continham correções repetidas.
O processo antecede o Astra
Escrevi sobre trabalho contínuo com o Codex, escopo de tarefa e restrições e POPs versionados em junho. Eric Provencher, da equipe Codex DX da OpenAI, descreveu práticas bastante alinhadas em suas orientações de julho para o GPT-5.6, incluindo atribuições distintas e preservação de requisitos ao delegar.
Meu método estabelecido não se transferiu de forma confiável nos meus testes com o Astra. As instruções cobrem requisitos de acesso, teste e entrega para o trabalho.
O que a revisão mostra
Quarenta episódios de correção envolveram preocupações com processo ou POP. Um episódio relacionado a testes continha 17 contribuições corretivas. A revisão também registrou 154 contribuições expressando insatisfação, com 91 sobrepostas à categoria corretiva. O mesmo problema às vezes gerava várias correções, então esse número não mede uma taxa de falha do modelo.
538 contribuições substantivas em cinco categorias exclusivas: 310 rotineiras, 63 apenas de insatisfação, 56 apenas de correção, 91 ambas e 18 ambíguas. As 147 contribuições corretivas incluem as 91 em ambas as categorias. Fonte: revisão contextual, protocolo 1.1.
O total de uso foi de 3,42 bilhões de tokens registrados, incluindo 3,35 bilhões de tokens de entrada em cache. Cerca de 98,2% da entrada veio do cache. O contexto repetido contribui para esses contadores, então o total não nos diz quanto trabalho útil foi concluído ou quanto custou. O estudo inclui a análise completa e mantém a atividade do repositório separada.
Composição de tokens registrados: 3,35B de entrada em cache, 61,11M de entrada sem cache e 10,99M de tokens de saída. A entrada em cache representa 98,21% da entrada. A saída inclui raciocínio; esses contadores não medem custo ou trabalho útil. Fonte: registros de uso do Astra Field Study.
Duas hipóteses para testar
Suspeito que atalhos para finalizar podem deslocar requisitos, e que requisitos podem se perder durante a delegação. Ambas são hipóteses totalmente não testadas, baseadas em aproximadamente quatro ou cinco dias de experiência pessoal. Não fiz uma comparação pareada entre GPT-5.6 e GPT-6 nem rastreei uma falha causal de delegação. Um runbook de implantação continha instruções desatualizadas.
As respostas incluíram experiências diferentes. Arbaz relatou desvio sob instruções de design detalhadas, enquanto John Collins relatou bom seguimento de instruções quando as etapas eram explicadas.
Publiquei o Astra Field Study com agregados revisados, métodos, figuras, um explorador e um kit de contribuição MIT. O kit mantém as conversas brutas privadas e permite que os contribuidores revisem seu agregado antes de enviá-lo. Avaliações opcionais de satisfação e facilidade são coletadas diretamente e mantidas separadas do uso.
Isso é o que penso atualmente, e quero saber mais. Se seu fluxo de trabalho existente foi transferido de forma limpa, compartilhe o que você usou e como verificou o resultado. Contribua através do repositório ou entre em contato aqui, especialmente se sua experiência contradizer a minha.
