Tôi đã sử dụng GPT-6 Astra với quy trình làm việc mà tôi đã phát triển cho GPT-5.6: phạm vi nhiệm vụ được ghi chép, ngữ cảnh kho lưu trữ, quy trình vận hành tiêu chuẩn và xác minh trước khi bàn giao. Trong quá trình thử nghiệm, tôi đã phải liên tục sửa những công việc mà các hướng dẫn đó đã đề cập. Các ví dụ bao gồm việc chỉ lại về một hướng dẫn viết đã được cung cấp, khẳng định lại nhịp độ kiểm thử và yêu cầu công việc còn thiếu trong một lần bàn giao hoàn chỉnh.
Đọc
bài viết blog , hoặc khám phá
dữ liệu và phương pháp trong kho lưu trữ nghiên cứu.
25.254 phản hồi được ghi lại trong sáu ngày nghiên cứu. Ngày thứ 6 kết thúc tại điểm cắt chung. Nguồn: Hồ sơ sử dụng Astra Field Study.
Tôi đã xem xét sáu ngày ghi chép Astra được lưu giữ để hiểu hoạt động và sự điều chỉnh xung quanh nó. Các bản ghi chứa 25.254 phản hồi trong 557 lượt tương tác. Một đánh giá riêng về các đóng góp bằng văn bản và giọng nói của tôi đã xác định 147 đóng góp sửa lỗi trong số 538 đóng góp quan trọng, được nhóm thành 78 giai đoạn. Ba mươi mốt giai đoạn có các lần sửa lỗi lặp lại.
Quy trình có trước Astra
Tôi đã viết về công việc Codex đang tiến hành, phạm vi nhiệm vụ và các ràng buộc, và các SOP được quản lý phiên bản vào tháng Sáu. Eric Provencher từ nhóm Codex DX của OpenAI đã mô tả các phương pháp thực hành gần giống trong hướng dẫn tháng Bảy của anh ấy cho GPT-5.6, bao gồm các nhiệm vụ riêng biệt và bảo toàn các yêu cầu khi ủy quyền.
Phương pháp đã thiết lập của tôi đã không được chuyển giao một cách đáng tin cậy trong quá trình thử nghiệm Astra của tôi. Các hướng dẫn bao gồm các yêu cầu về truy cập, kiểm thử và bàn giao cho công việc.
Đánh giá cho thấy điều gì
Bốn mươi giai đoạn sửa lỗi liên quan đến các vấn đề về quy trình hoặc SOP. Một giai đoạn liên quan đến kiểm thử chứa 17 đóng góp sửa lỗi. Đánh giá cũng ghi nhận 154 đóng góp thể hiện sự không hài lòng, với 91 đóng góp trùng với danh mục sửa lỗi. Cùng một vấn đề đôi khi tạo ra nhiều lần sửa lỗi, vì vậy con số này không đo lường tỷ lệ thất bại của mô hình.
538 đóng góp quan trọng trong năm danh mục độc quyền: 310 thông thường, 63 chỉ không hài lòng, 56 chỉ sửa lỗi, 91 cả hai và 18 không rõ ràng. 147 đóng góp sửa lỗi bao gồm 91 đóng góp trong cả hai danh mục. Nguồn: đánh giá theo ngữ cảnh, giao thức 1.1.
Tổng số token được ghi lại là 3,42 tỷ, bao gồm 3,35 tỷ token đầu vào được lưu trong bộ nhớ đệm. Khoảng 98,2% đầu vào đến từ bộ nhớ đệm. Ngữ cảnh lặp lại góp phần vào các bộ đếm này, vì vậy tổng số không cho chúng ta biết bao nhiêu công việc hữu ích đã được hoàn thành hoặc chi phí là bao nhiêu. Nghiên cứu bao gồm bảng phân tích đầy đủ và giữ các hoạt động của kho lưu trữ riêng biệt.
Thành phần token được ghi lại: 3,35B đầu vào được lưu trong bộ nhớ đệm, 61,11M đầu vào không được lưu trong bộ nhớ đệm và 10,99M token đầu ra. Đầu vào được lưu trong bộ nhớ đệm chiếm 98,21% đầu vào. Đầu ra bao gồm suy luận; các bộ đếm này không đo lường chi phí hoặc công việc hữu ích. Nguồn: Hồ sơ sử dụng Astra Field Study.
Hai giả thuyết cần kiểm tra
Tôi nghi ngờ rằng việc đi tắt để hoàn thành có thể thay thế các yêu cầu và các yêu cầu có thể bị mất trong quá trình ủy quyền. Cả hai đều là những giả thuyết hoàn toàn chưa được kiểm chứng dựa trên khoảng bốn hoặc năm ngày kinh nghiệm cá nhân. Tôi chưa chạy so sánh GPT-5.6/GPT-6 có đối chứng hoặc truy tìm lỗi ủy quyền nhân quả. Một sổ tay vận hành triển khai có chứa các hướng dẫn lỗi thời.
Các câu trả lời đã bao gồm những trải nghiệm khác nhau. Arbaz báo cáo sự sai lệch dưới các hướng dẫn thiết kế chi tiết, trong khi John Collins báo cáo việc tuân theo hướng dẫn tốt khi các bước được giải thích.
Tôi đã công bố Astra Field Study với các tổng hợp đã được xem xét, phương pháp, số liệu, công cụ khám phá và bộ công cụ đóng góp MIT. Bộ công cụ giữ các cuộc trò chuyện thô ở chế độ riêng tư và cho phép người đóng góp xem xét tổng hợp của họ trước khi gửi. Các xếp hạng mức độ hài lòng và dễ dàng tùy chọn được thu thập trực tiếp và được giữ riêng biệt với việc sử dụng.
Đây là những gì tôi hiện đang nghĩ và tôi muốn biết thêm. Nếu quy trình làm việc hiện tại của bạn được chuyển giao một cách suôn sẻ, hãy chia sẻ những gì bạn đã sử dụng và cách bạn xác minh kết quả. Đóng góp thông qua kho lưu trữ hoặc liên hệ tại đây, đặc biệt nếu trải nghiệm của bạn mâu thuẫn với tôi.
