Я использовал GPT-6 Astra с рабочим процессом, который я разработал для GPT-5.6: документированная область задач, контекст репозитория, стандартные операционные процедуры и верификация перед сдачей. В ходе тестирования мне приходилось постоянно исправлять работу, которая уже была охвачена этими инструкциями. Примеры включали указание на предоставленное руководство по написанию, повторное утверждение графика тестирования и запрос отсутствующей запрошенной работы при передаче результатов.
Прочитайте
запись в блоге или изучите
данные и методы в репозитории исследования.
25 254 записанных ответа за шесть дней исследования. День 6 заканчивается на общем пороге. Источник: записи использования Astra Field Study.
Я просмотрел шесть дней сохраненных записей Astra, чтобы понять активность и корректирующие действия вокруг нее. Записи содержали 25 254 ответа в 557 обращениях. Отдельный анализ моих печатных и голосовых вкладов выявил 147 корректирующих вкладов среди 538 значимых вкладов, сгруппированных в 78 эпизодов. Тридцать один эпизод содержал повторяющиеся исправления.
Процесс предшествует Astra
Я писал о текущей работе с Codex, области задач и ограничениях и версионных SOP в июне. Эрик Провенчер из команды Codex DX от OpenAI описал тесно связанные практики в своих рекомендациях для GPT-5.6 за июль, включая отдельные задания и сохранение требований при делегировании.
Мой устоявшийся метод не перенесся надежно в мое тестирование Astra. Инструкции охватывают требования к доступу, тестированию и сдаче работы.
Что показывает обзор
Сорок эпизодов исправлений касались проблем процесса или SOP. Один эпизод, связанный с тестированием, содержал 17 корректирующих вкладов. Обзор также зафиксировал 154 вклада, выражающих неудовлетворенность, причем 91 из них пересекался с категорией исправлений. Одна и та же проблема иногда порождала несколько исправлений, поэтому это число не измеряет частоту отказов модели.
538 значимых вкладов в пяти исключительных категориях: 310 рутинных, 63 только неудовлетворенность, 56 только исправления, 91 и то и другое, и 18 неоднозначных. 147 корректирующих вкладов включают 91 из категории «и то и другое». Источник: контекстный обзор, протокол 1.1.
Общий объем использования составил 3,42 миллиарда записанных токенов, включая 3,35 миллиарда кэшированных входных токенов. Около 98,2% входных данных поступило из кэша. Повторяющийся контекст вносит вклад в эти счетчики, поэтому общее число не говорит нам, сколько полезной работы было выполнено или сколько это стоило. Исследование включает полную разбивку и ведет учет активности репозитория отдельно.
Записанный состав токенов: 3,35 млрд кэшированных входных, 61,11 млн некэшированных входных и 10,99 млн выходных токенов. Кэшированные входные данные составляют 98,21% входных данных. Выходные данные включают рассуждения; эти счетчики не измеряют стоимость или полезную работу. Источник: записи использования Astra Field Study.
Две гипотезы для проверки
Я подозреваю, что стремление к завершению может вытеснять требования, а требования могут теряться при делегировании. Обе гипотезы совершенно не проверены и основаны примерно на четырех или пяти днях личного опыта. Я не проводил сравнительного анализа GPT-5.6/GPT-6 и не отслеживал причинно-следственный сбой делегирования. Руководство по развертыванию содержало устаревшие инструкции.
Ответы включали разный опыт. Арбаз сообщил о дрейфе при подробных инструкциях по дизайну, в то время как Джон Коллинз сообщил о хорошем следовании инструкциям, когда шаги были объяснены.
Я опубликовал Astra Field Study с проверенными агрегированными данными, методами, рисунками, обозревателем и набором для внесения вклада по лицензии MIT. Набор сохраняет конфиденциальность исходных разговоров и позволяет участникам просмотреть свои агрегированные данные перед отправкой. Оценки удовлетворенности и простоты использования собираются отдельно и хранятся отдельно от данных об использовании.
Это то, что я думаю сейчас, и я хочу узнать больше. Если ваш существующий рабочий процесс перенесся без проблем, поделитесь, что вы использовали и как проверяли результат. Вносите вклад через репозиторий или связывайтесь здесь, особенно если ваш опыт противоречит моему.
