YouMind
登录

从 GPT-5.6 Sol 到 GPT-6 Astra:为什么我总是在重复同样的操作?

@BradGroux
英语2026年9月09日
245K
594
103
49
153

TL;DR

一项针对超过 25,000 条响应的分析显示,从 GPT-5.6 升级到 GPT-6 Astra 可能会导致既定的工作流和 SOP 失效,从而需要频繁进行人工修正。

我一直在使用 GPT-6 Astra,配合我为 GPT-5.6 开发的工作流程:记录任务范围、仓库上下文、标准操作流程,以及在交付前进行验证。在我的测试中,我不得不反复纠正那些本已被指令覆盖的工作。例如,重新指向已提供的写作指南、重申测试节奏,以及要求补全交付中缺失的请求工作。

阅读

完整研究 ,

博客文章 ,或探索

数据与方法 (位于研究仓库中)。

Brad Groux - inline image

六个研究日内记录了 25,254 条回复。第 6 天在共同截止点结束。来源:Astra 实地研究使用记录。

我回顾了六天的 Astra 留存记录,以了解活动情况及其相关的引导调整。这些记录包含 557 轮对话中的 25,254 条回复。对我输入和语音贡献的单独审查,在 538 条实质性贡献中识别出 147 条纠正性贡献,这些贡献被归为 78 个事件。其中 31 个事件包含重复纠正。

该流程早于 Astra

我在六月撰写了关于正在进行的 Codex 工作、任务范围与约束以及版本化 SOP 的内容。来自 OpenAI Codex DX 团队的 Eric Provencher 在他七月的 GPT-5.6 指南中描述了高度一致的做法,包括明确的任务分配以及在委托时保留需求。

我既定的方法在 Astra 测试中并未可靠地延续下来。这些指令涵盖了工作的访问、测试和交付要求。

审查结果

40 个纠正事件涉及流程或 SOP 问题。一个与测试相关的事件包含 17 条纠正性贡献。审查还记录了 154 条表达不满的贡献,其中 91 条与纠正类别重叠。同一个问题有时会产生多次纠正,因此这个计数并不能衡量模型失败率。

Brad Groux - inline image

538 条实质性贡献分为五个互斥类别:310 条常规、63 条仅不满、56 条仅纠正、91 条两者兼有、18 条模糊不清。147 条纠正性贡献包括两者兼有类别中的 91 条。来源:上下文审查,协议 1.1。

总使用量为 34.2 亿记录令牌,其中包括 33.5 亿缓存输入令牌。约 98.2% 的输入来自缓存。重复的上下文会贡献到这些计数器中,因此总数并不能告诉我们完成了多少有用工作或花费了多少成本。该研究包含了完整的细分数据,并将仓库活动分开记录。

Brad Groux - inline image

记录的令牌构成:33.5 亿缓存输入、6111 万非缓存输入和 1099 万输出令牌。缓存输入占输入的 98.21%。输出包含推理;这些计数器不衡量成本或有用工作。来源:Astra 实地研究使用记录。

两个待验证的假设

我怀疑,为了完成工作而采取的捷径可能会取代需求,并且需求在委托过程中可能会丢失。这两个都是完全未经测试的假设,基于大约四五天的个人经验。我尚未进行匹配的 GPT-5.6/GPT-6 对比测试,也未追溯出因果性的委托失败。一份部署运行手册中包含过时的指令。

回复中包含了不同的体验。Arbaz 报告了在详细设计指令下出现的漂移,而 John Collins 则报告了在解释步骤时良好的指令遵循情况。

我已发布 Astra 实地研究,其中包含经过审查的汇总数据、方法、图表、一个探索器以及一个 MIT 贡献工具包。该工具包会保密原始对话,并允许贡献者在提交前审查自己的汇总数据。可选用的满意度和易用性评级会被直接收集,并与使用数据分开保存。

这是我目前的看法,我想了解更多。如果你现有的工作流程能够顺利迁移,请分享你使用的方法以及如何验证结果。通过仓库贡献或在此联系我,特别是当你的体验与我的相悖时。

二次创作

使用 YouMind 创作爆款文章

收集素材、拆解爆点、生成视觉资产、撰写内容,并在一个 AI 工作空间里完成分发。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章