Ich habe GPT-6 Astra mit dem Workflow getestet, den ich für GPT-5.6 entwickelt habe: dokumentierter Aufgabenumfang, Repository-Kontext, Standardarbeitsanweisungen und Überprüfung vor der Auslieferung. In meinen Tests musste ich immer wieder Arbeiten korrigieren, die diese Anweisungen bereits abdecken sollten. Beispiele waren der Hinweis auf eine bereitgestellte Schreibanleitung, das erneute Einfordern des Testrhythmus und das Nachfragen nach gewünschten Arbeiten, die bei einer Übergabe fehlten.
Lesen Sie die
vollständige Studie , den
Blogbeitrag , oder erkunden Sie die
Daten und Methoden im Forschungs-Repository.
25.254 aufgezeichnete Antworten über sechs Studientage hinweg. Tag 6 endet mit dem gemeinsamen Grenzwert. Quelle: Astra-Feldstudien-Nutzungsaufzeichnungen.
Ich habe sechs Tage lang die gespeicherten Astra-Aufzeichnungen überprüft, um die Aktivität und die Steuerung zu verstehen. Die Aufzeichnungen enthielten 25.254 Antworten über 557 Runden hinweg. Eine separate Überprüfung meiner getippten und gesprochenen Beiträge identifizierte 147 korrigierende Beiträge unter 538 substanziellen Beiträgen, gruppiert in 78 Episoden. Einunddreißig Episoden enthielten wiederholte Korrekturen.
Der Prozess existiert bereits vor Astra
Ich habe im Juni über laufende Codex-Arbeiten, Aufgabenumfang und -einschränkungen und versionierte SOPs geschrieben. Eric Provencher vom OpenAI Codex DX Team beschrieb eng verwandte Praktiken in seiner Juli-Anleitung für GPT-5.6, einschließlich getrennter Aufgaben und der Beibehaltung von Anforderungen bei der Delegation.
Meine etablierte Methode hat sich in meinen Astra-Tests nicht zuverlässig übertragen lassen. Die Anweisungen decken Zugriff, Tests und Auslieferungsanforderungen für die Arbeit ab.
Was die Überprüfung zeigt
Vierzig Korrekturepisoden betrafen Prozess- oder SOP-Probleme. Eine testbezogene Episode enthielt 17 korrigierende Beiträge. Die Überprüfung verzeichnete außerdem 154 Beiträge, die Unzufriedenheit ausdrückten, wobei 91 mit der Korrekturkategorie überlappten. Dasselbe Problem führte manchmal zu mehreren Korrekturen, daher misst diese Zahl keine Modellfehlerrate.
538 substanzielle Beiträge in fünf exklusiven Kategorien: 310 routinemäßig, 63 nur Unzufriedenheit, 56 nur Korrektur, 91 beides und 18 mehrdeutig. Die 147 korrigierenden Beiträge umfassen die 91 in der Kategorie „beides". Quelle: Kontextuelle Überprüfung, Protokoll 1.1.
Die Gesamtnutzung betrug 3,42 Milliarden aufgezeichnete Token, darunter 3,35 Milliarden gecachte Eingabe-Token. Etwa 98,2 % der Eingaben stammten aus dem Cache. Wiederholter Kontext trägt zu diesen Zählern bei, daher sagt die Gesamtzahl nichts darüber aus, wie viel nützliche Arbeit erledigt wurde oder was sie gekostet hat. Die Studie enthält die vollständige Aufschlüsselung und hält die Repository-Aktivität getrennt.
Aufgezeichnete Token-Zusammensetzung: 3,35 Mrd. gecachte Eingabe, 61,11 Mio. ungecachte Eingabe und 10,99 Mio. Ausgabe-Token. Gecachte Eingaben machen 98,21 % der Eingaben aus. Die Ausgabe umfasst Reasoning; diese Zähler messen weder Kosten noch nützliche Arbeit. Quelle: Astra-Feldstudien-Nutzungsaufzeichnungen.
Zwei zu testende Hypothesen
Ich vermute, dass Abkürzungen zur Fertigstellung Anforderungen verdrängen können und dass Anforderungen bei der Delegation verloren gehen können. Beides sind völlig ungetestete Hypothesen, die auf etwa vier oder fünf Tagen persönlicher Erfahrung basieren. Ich habe keinen direkten Vergleich zwischen GPT-5.6 und GPT-6 durchgeführt oder einen kausalen Delegationsfehler zurückverfolgt. Ein Einsatz-Runbook enthielt veraltete Anweisungen.
Die Antworten haben unterschiedliche Erfahrungen gezeigt. Arbaz berichtete von Abweichungen unter detaillierten Designanweisungen, während John Collins von guter Befolgung der Anweisungen berichtete, wenn Schritte erklärt wurden.
Ich habe Astra Field Study mit überprüften Aggregaten, Methoden, Abbildungen, einem Explorer und einem MIT-Beitragskit veröffentlicht. Das Kit hält rohe Konversationen privat und ermöglicht es Mitwirkenden, ihr Aggregat zu überprüfen, bevor sie es einreichen. Optionale Zufriedenheits- und Benutzerfreundlichkeitsbewertungen werden direkt erhoben und getrennt von der Nutzung aufbewahrt.
Das ist, was ich derzeit denke, und ich möchte mehr wissen. Wenn Ihr bestehender Workflow sauber übertragen wurde, teilen Sie mit, was Sie verwendet haben und wie Sie das Ergebnis überprüft haben. Tragen Sie über das Repository bei oder melden Sie sich hier, insbesondere wenn Ihre Erfahrung meiner widerspricht.
