Ho utilizzato GPT-6 Astra con il flusso di lavoro che ho sviluppato per GPT-5.6: ambito delle attività documentato, contesto del repository, procedure operative standard e verifica prima della consegna. Nei miei test, ho dovuto continuamente correggere lavori che quelle istruzioni già coprivano. Gli esempi includevano il rimando a una guida di scrittura fornita, il riaffermare la cadenza di test e la richiesta di lavoro richiesto ma mancante in una consegna completata.
Leggi lo
studio completo , il
post del blog , o esplora i
dati e i metodi nel repository di ricerca.
25.254 risposte registrate in sei giorni di studio. Il giorno 6 termina al cutoff comune. Fonte: registri di utilizzo dello studio sul campo Astra.
Ho esaminato sei giorni di registrazioni Astra conservate per comprendere l'attività e le correzioni apportate. Le registrazioni contenevano 25.254 risposte in 557 turni. Una revisione separata dei miei contributi digitati e vocali ha identificato 147 contributi correttivi tra 538 contributi sostanziali, raggruppati in 78 episodi. Trentuno episodi contenevano correzioni ripetute.
Il processo precede Astra
A giugno ho scritto del lavoro in corso su Codex, dell'ambito e dei vincoli delle attività e delle SOP con versioni. Eric Provencher del team Codex DX di OpenAI ha descritto pratiche strettamente allineate nella sua guida di luglio per GPT-5.6, inclusi incarichi distinti e la conservazione dei requisiti durante la delega.
Il mio metodo consolidato non è stato trasferito in modo affidabile nei miei test con Astra. Le istruzioni coprono i requisiti di accesso, test e consegna per il lavoro.
Cosa mostra la revisione
Quaranta episodi di correzione riguardavano preoccupazioni relative al processo o alle SOP. Un episodio relativo ai test conteneva 17 contributi correttivi. La revisione ha anche registrato 154 contributi che esprimevano insoddisfazione, con 91 sovrapposti alla categoria correttiva. Lo stesso problema a volte generava diverse correzioni, quindi questo conteggio non misura un tasso di fallimento del modello.
538 contributi sostanziali in cinque categorie esclusive: 310 di routine, 63 solo insoddisfazione, 56 solo correzione, 91 entrambi e 18 ambigui. I 147 contributi correttivi includono i 91 in entrambe le categorie. Fonte: revisione contestuale, protocollo 1.1.
Il totale di utilizzo è stato di 3,42 miliardi di token registrati, inclusi 3,35 miliardi di token di input memorizzati nella cache. Circa il 98,2% dell'input proveniva dalla cache. Il contesto ripetuto contribuisce a questi contatori, quindi il totale non ci dice quanto lavoro utile sia stato completato o quanto sia costato. Lo studio include la ripartizione completa e mantiene separata l'attività del repository.
Composizione dei token registrati: 3,35B di input in cache, 61,11M di input non in cache e 10,99M di token di output. L'input in cache rappresenta il 98,21% dell'input. L'output include il ragionamento; questi contatori non misurano il costo o il lavoro utile. Fonte: registri di utilizzo dello studio sul campo Astra.
Due ipotesi da testare
Sospetto che le scorciatoie per finire possano spostare i requisiti e che i requisiti possano perdersi durante la delega. Entrambe sono ipotesi del tutto non testate basate su circa quattro o cinque giorni di esperienza personale. Non ho eseguito un confronto appaiato GPT-5.6/GPT-6 né ho tracciato un guasto di delega causale. Un runbook di distribuzione conteneva istruzioni obsolete.
Le risposte hanno incluso esperienze diverse. Arbaz ha riportato una deriva in presenza di istruzioni di progettazione dettagliate, mentre John Collins ha riportato una buona osservanza delle istruzioni quando i passaggi erano spiegati.
Ho pubblicato Astra Field Study con aggregati revisionati, metodi, figure, un esploratore e un kit di contribuzione MIT. Il kit mantiene private le conversazioni grezze e consente ai contributori di rivedere il proprio aggregato prima di inviarlo. Le valutazioni opzionali di soddisfazione e facilità vengono raccolte direttamente e tenute separate dall'utilizzo.
Questo è ciò che penso attualmente e voglio saperne di più. Se il tuo flusso di lavoro esistente è stato trasferito senza problemi, condividi cosa hai usato e come hai verificato il risultato. Contribuisci tramite il repository o contattami qui, specialmente se la tua esperienza contraddice la mia.
