Я використовую GPT-6 Astra з робочим процесом, який я розробив для GPT-5.6: задокументований обсяг завдання, контекст репозиторію, стандартні операційні процедури та верифікація перед здачею. Під час тестування мені доводилося постійно виправляти роботу, яку вже охоплювали ці інструкції. Приклади включали вказівки на наданий посібник з написання, повторне підтвердження ритму тестування та запит на виконану роботу, якої не вистачало в передачі результатів.
Прочитайте
допис у блозі або ознайомтеся з
даними та методами у дослідницькому репозиторії.
25 254 записаних відповідей протягом шести днів дослідження. День 6 закінчується на загальному порозі. Джерело: записи використання Astra Field Study.
Я переглянув шість днів збережених записів Astra, щоб зрозуміти активність та керування нею. Записи містили 25 254 відповіді в 557 зверненнях. Окремий аналіз моїх текстових і голосових внесків виявив 147 виправлень серед 538 змістовних внесків, згрупованих у 78 епізодів. Тридцять один епізод містив повторні виправлення.
Процес передує Astra
Я писав про поточну роботу з Codex, обсяг завдань та обмеження та версійні SOP у червні. Ерік Провенчер із команди Codex DX від OpenAI описав тісно узгоджені практики у своїх рекомендаціях для GPT-5.6 за липень, включаючи окремі завдання та збереження вимог під час делегування.
Мій усталений метод не спрацював надійно під час тестування Astra. Інструкції охоплюють вимоги до доступу, тестування та здачі роботи.
Що показує аналіз
Сорок епізодів виправлень стосувалися процесу або SOP. Один епізод, пов'язаний із тестуванням, містив 17 виправлень. Аналіз також зафіксував 154 внески, що виражали незадоволення, причому 91 з них збігався з категорією виправлень. Одна й та сама проблема іноді породжувала кілька виправлень, тому ця кількість не вимірює частоту помилок моделі.
538 змістовних внесків у п'яти виключних категоріях: 310 рутинних, 63 лише незадоволення, 56 лише виправлення, 91 обидві категорії та 18 неоднозначних. 147 виправлень включають 91 з обох категорій. Джерело: контекстуальний аналіз, протокол 1.1.
Загальне використання становило 3,42 мільярда записаних токенів, включаючи 3,35 мільярда кешованих вхідних токенів. Близько 98,2% вхідних даних надійшли з кешу. Повторюваний контекст впливає на ці лічильники, тому загальна кількість не говорить нам, скільки корисної роботи було виконано або скільки це коштувало. Дослідження містить повний розподіл і веде окремий облік активності в репозиторії.
Записаний склад токенів: 3,35 млрд кешованих вхідних, 61,11 млн некешованих вхідних та 10,99 млн вихідних токенів. Кешовані вхідні дані становлять 98,21% вхідних. Вихідні дані включають міркування; ці лічильники не вимірюють вартість або корисну роботу. Джерело: записи використання Astra Field Study.
Дві гіпотези для перевірки
Я підозрюю, що скорочення шляхів до завершення можуть витісняти вимоги, а вимоги можуть губитися під час делегування. Обидві гіпотези абсолютно неперевірені та базуються приблизно на чотирьох-п'яти днях особистого досвіду. Я не проводив порівняння GPT-5.6/GPT-6 за однакових умов і не відстежував причинно-наслідковий збій делегування. Робоча інструкція з розгортання містила застарілі вказівки.
У відповідях були різні досвіди. Арбаз повідомив про дрейф за детальних інструкцій з дизайну, тоді як Джон Коллінз повідомив про хороше дотримання інструкцій, коли кроки були пояснені.
Я опублікував Astra Field Study з перевіреними агрегованими даними, методами, графіками, дослідником та набором для внесків за ліцензією MIT. Набір зберігає конфіденційність особистих розмов і дозволяє учасникам перевірити свої агреговані дані перед надсиланням. Оцінки задоволеності та легкості збираються окремо та зберігаються окремо від використання.
Це те, що я зараз думаю, і я хочу дізнатися більше. Якщо ваш існуючий робочий процес перенісся без проблем, поділіться, що ви використовували і як перевірили результат. Зробіть внесок через репозиторій або зв'яжіться зі мною, особливо якщо ваш досвід суперечить моєму.
