GPT-6 Astra ra mắt vào ngày 3 tháng 9 năm 2026, và trong vòng vài ngày, nó đã tạo ra hai thứ mà mọi bản phát hành mô hình thực sự quan trọng đều tạo ra: những con số benchmark chưa từng thấy trước đây, và một đống vấn đề GitHub ngày càng tăng từ những người gặp phải các cạnh sắc của nó trong môi trường production ngay trong cùng tuần. Lớp học nâng cao này đề cập đến cả hai mặt một cách trung thực: những gì thực sự được cải thiện, những gì thực sự đang gây ra vấn đề cho người dùng thực tế ngay bây giờ, và những điều chỉnh prompt cụ thể giúp giải quyết các khó khăn đó.
Những Gì Thực Sự Đã Thay Đổi
Hãy bắt đầu với sự thay đổi chính, bởi vì nó giải thích hầu hết mọi thứ khác trong hướng dẫn này. Astra không hoạt động chủ yếu thông qua các lệnh gọi API đến các công cụ riêng lẻ như các thế hệ agent trước đây đã làm. Nó vận hành phần mềm giống như cách một con người làm: đọc pixel, di chuyển con trỏ, nhấp chuột, gõ phím, điều hướng trực tiếp các ứng dụng desktop và web đầy đủ. Cách diễn giải của chính Greg Brockman khi ra mắt: "chào mừng đến với kỷ nguyên AGI."
Đó không phải là sự tô vẽ tiếp thị cho một bản cập nhật gia tăng. Đó là một sự thay đổi kiến trúc thực sự với bằng chứng benchmark thực tế đằng sau nó. Trên ARC-AGI-3, Astra đạt 99,9% với một harness đầy đủ. Trên FrontierMath tier 4, 98%. Trên ExploitBench, đánh giá an ninh mạng khó nhất của OpenAI, 100%, so với 78,5% của GPT-5.6 Sol. Trên các tác vụ sử dụng máy tính thực tế cụ thể, OSWorld 2.0, Astra đạt 72,6% trong khoảng 40 phút, so với 65,7% của Sol trong 75 phút, nhanh gần gấp đôi để có kết quả tốt hơn.
Hàm ý thực tế đáng để suy ngẫm: phần đuôi dài của các công cụ kinh doanh nội bộ, phần mềm kế thừa, và bất cứ thứ gì không có API sạch sẽ cuối cùng cũng có thể tự động hóa được, bởi vì Astra không cần một tích hợp được xây dựng riêng cho nó. Nó cần cùng một màn hình mà một nhân viên con người sẽ sử dụng.
benchmarking GPT 4 astra
Những Gì Thực Sự Đã Hỏng
Đây là phần mà hầu hết các bài viết trong tuần ra mắt đều bỏ qua, và nó là nội dung thực sự của lớp học nâng cao này.
Giới hạn phiên làm việc bị đốt cháy nhanh hơn nhiều so với sự cường điệu về benchmark. Một vấn đề GitHub đã được ghi nhận chống lại kho lưu trữ Codex của chính OpenAI mô tả một phiên làm việc ở cấp Plus hiển thị 100% khả dụng, sau đó đạt đến giới hạn sử dụng hoàn toàn trong vòng 20 phút làm việc phát triển bình thường, quy mô nhỏ, không có ngữ cảnh khổng lồ, không có tạo mã nặng, chỉ sử dụng thông thường. Lời của chính người dùng: "vấn đề này ảnh hưởng nặng nề đến năng suất." Đây không phải là một lời phàn nàn cá biệt. Đó là sự ma sát cụ thể, có thể tái tạo mà hầu hết người dùng mới gặp phải đầu tiên.
Bản thân quyền truy cập bị kiểm soát, phân tán và không được ghi chép. OpenAI đã phát hành Astra với giá công khai, 10 đô la cho mỗi triệu token đầu vào, 50 đô la cho mỗi triệu token đầu ra, và một chuỗi mô hình công khai, nhưng việc thực sự gọi nó lại là một vấn đề hoàn toàn khác. Báo cáo độc lập xác nhận quyền truy cập của nhà phát triển đang được triển khai chậm, một số tổ chức đã có nó ngay ngày đầu tiên, những tổ chức khác nằm trong danh sách chờ không được công bố. Trên Microsoft Foundry cụ thể, Astra yêu cầu một bước phê duyệt truy cập hạn chế, cùng một mẫu được sử dụng trong lịch sử cho các mô hình có xếp hạng an toàn cao. Nếu ứng dụng của bạn mã hóa cứng chuỗi mô hình Astra với giả định rằng nó sẽ phân giải, nó có thể đơn giản là thất bại đối với một phần đáng kể người dùng của bạn, mà không có cách nào để biết trước phần đó là ai.
Các khiếu nại về sự suy giảm đã có trước khi ra mắt và vẫn chưa được giải quyết đối với một số người dùng. Một bài đăng chi tiết trên cộng đồng nhà phát triển của chính OpenAI, được xuất bản vài ngày trước khi Astra được phát hành rộng rãi hơn, ghi lại các vấn đề suy giảm độ tin cậy cụ thể trong xử lý ngữ cảnh dài, xử lý tệp và tính nhất quán lý luận trên GPT-5.6 mà một người đăng ký Pro trả phí đã trải qua trong khoảng hai tuần liên tiếp. Cách diễn giải của chính tác giả đáng để trích dẫn về giọng điệu, không phải nội dung: họ muốn OpenAI thành công và đã gia hạn đăng ký của họ anyway, nhưng đã nêu ra vấn đề vì họ tin rằng nó cần sự chú ý về kỹ thuật trước khi Astra mở rộng quy mô hơn nữa.
Mô hình trung thực về các giới hạn thường xuyên hơn so với người tiền nhiệm của nó, điều này thay đổi cách bạn nên giải thích một câu "không" từ nó. Thẻ hệ thống của chính Astra tiết lộ một đánh giá cụ thể, có đo lường: khi được giao một nhiệm vụ thường yêu cầu tìm kiếm, với công cụ tìm kiếm cố tình làm cho không khả dụng, các mô hình được theo dõi về việc liệu chúng có thừa nhận giới hạn đó một cách trung thực trong phản hồi cuối cùng của chúng hay không. Ở mức nỗ lực suy luận tối đa, tỷ lệ trình bày sai công việc đã hoàn thành của GPT-5.6 Sol vượt quá Astra 4 lần. Đây thực sự là một tin tốt được chôn vùi trong tài liệu an toàn khô khan, nhưng nó có nghĩa là một phiên làm việc nơi Astra nói "Tôi không thể hoàn thành việc này" có nhiều khả năng báo cáo một giới hạn trung thực, thực tế hơn là sự bịa đặt tự tin thỉnh thoảng của các mô hình trước đó, và bạn nên coi báo cáo đó đáng tin cậy hơn, chứ không phải bác bỏ nó như sự rụt rè.
Cách Thực Sự Prompt Xung Quanh Vấn Đề Giới Hạn Phiên Làm Việc
Với thời gian đốt cháy 20 phút đã được ghi nhận ở trên, giải pháp thực tế là xác định phạm vi nhiệm vụ của bạn một cách rõ ràng xung quanh ràng buộc đó thay vì hy vọng nó không áp dụng cho bạn.
Chia nhiệm vụ này thành đơn vị công việc hoàn chỉnh nhỏ nhất
tạo ra một kết quả thực sự hữu ích, đã được checkpoint hóa một cách độc lập. Trước khi bắt đầu,
hãy cho tôi biết ước tính của bạn về lượng ngân sách phiên làm việc mà đơn vị cụ thể này
sẽ tiêu thụ, và dừng lại tại một checkpoint sạch sẽ nếu bạn đang
tiến gần đến ước tính đó thay vì để lại công việc dang dở khi
phiên làm việc bị cắt đứt.
Kỷ luật mà điều này yêu cầu: chống lại bản năng giao cho Astra một nhiệm vụ kéo dài nhiều giờ trong một hướng dẫn duy nhất giống như cách bạn có thể làm với một mô hình không có ràng buộc cụ thể này. Checkpoint hóa rõ ràng, lưu trạng thái và báo cáo chính xác mọi thứ đang ở đâu, quan trọng hơn ở đây so với trên một mô hình không có tốc độ đốt cháy phiên làm việc nhanh được ghi nhận.
Cách Xử Lý Quyền Truy Cập Bị Kiểm Soát Trong Mã Production
Vì quyền truy cập được triển khai không đồng đều và không theo lịch trình công bố, việc mã hóa cứng sự phụ thuộc vào việc Astra phân giải là một rủi ro production thực sự, không phải là một rủi ro lý thuyết.
Phát hiện xem GPT-6 Astra có khả dụng cho tài khoản hoặc
tổ chức này hay không trước khi cam kết sử dụng nó làm mô hình chính. Nếu Astra
không phân giải, hãy dự phòng rõ ràng sang [GPT-5.6 Sol hoặc
mô hình tốt nhất tiếp theo có sẵn của bạn], ghi nhật ký mô hình nào thực sự phục vụ
yêu cầu và hiển thị trạng thái dự phòng đó ở đâu đó có thể nhìn thấy được thay vì
âm thầm suy giảm chất lượng.
Sai lầm cụ thể cần tránh: xây dựng một tính năng giả định rằng tính khả dụng của Astra là nhị phân, hoặc mọi người đều có nó hoặc không ai có. Mô hình triển khai thực tế được ghi nhận là một cổng kiểm soát phân tán, theo từng tổ chức, không có mốc thời gian rõ ràng, có nghĩa là logic dự phòng của bạn cần xử lý "một phần người dùng của tôi có nó, và tôi không thể dự đoán phần nào" như một trạng thái thực tế, đang diễn ra, không phải là một điều kiện tạm thời trong tuần ra mắt.
Cách Prompt Xung Quanh Mô Hình Sử Dụng Máy Tính Cụ Thể
Bởi vì Astra hoạt động thông qua pixel và nhấp chuột thay vì lệnh gọi API, kỷ luật prompt thực tế chuyển từ mô tả một hợp đồng API sang mô tả một mục tiêu trực quan, có thể điều hướng.
Đây là kết quả tôi muốn: [trạng thái cuối cùng cụ thể, có thể xác minh trực quan].
Chụp ảnh màn hình trước khi bạn bắt đầu, mô tả những gì bạn thấy và
xác nhận kế hoạch của bạn để điều hướng đến mục tiêu trước khi thực hiện bất kỳ
cú nhấp chuột nào. Sau mỗi bước có ý nghĩa, hãy xác nhận ngắn gọn những gì đã thay đổi trên
màn hình khớp với những gì bạn mong đợi trước khi chuyển sang bước tiếp theo.
Điều này quan trọng hơn vẻ bề ngoài của nó, bởi vì một agent sử dụng máy tính có thể trôi dạt một cách âm thầm, nhấp chuột qua một trạng thái giao diện người dùng trông giống với những gì nó mong đợi nhưng không hoàn toàn chính xác, theo một cách mà một agent dựa trên văn bản hoặc API thuần túy về mặt cấu trúc không thể. Kỷ luật chụp ảnh màn hình và xác nhận là biện pháp giảm thiểu trực tiếp.
Đọc Các Báo Cáo Tự Giới Hạn Của Astra Một Cách Chính Xác
Với tỷ lệ trình bày sai thấp hơn 4 lần đã được xác nhận so với Sol ở mức nỗ lực tối đa, hãy điều chỉnh mức độ bạn đặt trọng lượng cho một phản hồi trung thực "Tôi không thể làm điều này."
Nếu bạn không thể hoàn thành một phần của nhiệm vụ này, hãy nêu chính xác những gì
cụ thể đã chặn bạn và những gì bạn cần để tiếp tục, thay vì
xấp xỉ một kết quả hoặc âm thầm làm việc xung quanh khoảng trống theo cách
thay đổi những gì thực sự đã được giao.
Sự thay đổi thực tế mà điều này tạo ra trong quy trình làm việc của riêng bạn: coi một giới hạn được nêu rõ ràng từ Astra như một tín hiệu thực sự đáng để hành động, mở rộng quyền truy cập công cụ, cung cấp thông tin còn thiếu, điều chỉnh phạm vi, thay vì phản xạ "chỉ cần cố gắng hơn nữa" reprompt có ý nghĩa hơn với một mô hình được ghi nhận là bịa đặt hoàn thành thường xuyên hơn.
Các Con Số Đánh Giá Mã Đáng Biết
Đối với bất kỳ ai sử dụng Astra cụ thể để đánh giá mã thay vì các tác vụ sử dụng máy tính rộng hơn, thử nghiệm độc lập từ CodeRabbit phát hiện ra rằng nó bắt được khoảng 4% lỗi được gắn nhãn nhiều hơn so với GPT-5.6 Sol nói chung và 22% nhiều hơn so với Opus 5. Khoảng cách mở rộng cụ thể trên các đánh giá khó hơn, xuyên tệp, nơi cải thiện so với Sol đạt 20% và so với Opus 5 đạt 33%.
Kết luận thực tế: Lợi thế của Astra không đồng nhất trên mọi tác vụ mã hóa. Nó tập trung cụ thể vào các lý luận xuyên tệp khó hơn, đòi hỏi giữ nhiều ngữ cảnh một cách mạch lạc cùng một lúc, chính xác là loại tác vụ mà những cải thiện lý luận rộng hơn của nó sẽ được mong đợi thể hiện nhiều nhất.
Mốc Thời Gian Triển Khai Thực Tế Và Tại Sao Nó Quan Trọng Cho Việc Lập Kế Hoạch
Hiểu được việc triển khai theo giai đoạn thực tế giúp giải thích tại sao quyền truy cập có vẻ không nhất quán tùy thuộc vào người bạn hỏi, và đáng để biết trình tự thay vì cho rằng một ngày ra mắt duy nhất áp dụng cho tất cả mọi người như nhau.
Astra được triển khai đầu tiên cho Daybreak, bề mặt truy cập sớm của chính OpenAI, trước khi đến các cấp ChatGPT rộng hơn, sau đó là API, sau đó là quyền truy cập được lưu trữ trên AWS. Đây là một mô hình giảm thiểu rủi ro có chủ đích, không phải là một tai nạn. Một mô hình được xếp hạng ở ngưỡng an toàn Critical của OpenAI về khả năng mạng có được triển khai theo giai đoạn cụ thể để các vấn đề xuất hiện với cơ sở người dùng nhỏ hơn, được giám sát nhiều hơn trước khi phát hành rộng rãi. Thẻ hệ thống của Astra xác nhận điều này trực tiếp, lưu ý rằng nó đại diện cho một bước tiến đáng kể về khả năng mạng và đáp ứng ngưỡng Critical đó, đó chính xác là lý do tại sao mô hình truy cập bị kiểm soát được ghi nhận ở trên tồn tại ngay từ đầu thay vì là một quyết định kinh doanh tùy tiện.
Hàm ý thực tế cho bất kỳ ai lập kế hoạch xung quanh mô hình này: đừng coi "ngày ra mắt" là thời điểm quyền truy cập đầy đủ trở nên khả dụng. Hãy coi ngày khả dụng thực tế cho tài khoản hoặc tổ chức cụ thể của bạn là điểm bắt đầu thực sự cho bất kỳ sự phụ thuộc nào bạn xây dựng và kiểm tra trạng thái đó trực tiếp thay vì cho rằng sự ngang bằng với bất cứ điều gì bạn đã đọc về quyền truy cập của người khác.
Phép Tính Chi Phí Thực Tế Đáng Chạy Trước Khi Bạn Cam Kết
Ở mức 10 đô la cho mỗi triệu token đầu vào và 50 đô la cho mỗi triệu token đầu ra, Astra nằm ở một mức giá thực sự cao cấp, và kết hợp với tốc độ đốt cháy phiên làm việc đã được ghi nhận, chi phí thực tế của một quy trình làm việc thực sự có thể làm ngạc nhiên những người chỉ lập ngân sách dựa trên tỷ lệ trên mỗi token chính.
Phép tính thực tế đáng chạy trước khi cam kết một quy trình làm việc production cho Astra: ước tính mức tiêu thụ token thực tế của bạn trên mỗi đơn vị nhiệm vụ đã được checkpoint hóa, sử dụng phạm vi nhỏ hơn, nhận biết giới hạn phiên làm việc được mô tả trước đó, sau đó nhân với khối lượng nhiệm vụ dự kiến của bạn, không phải với một trường hợp tốt nhất lạc quan. Bởi vì các tác vụ sử dụng máy tính liên quan đến các chu kỳ chụp ảnh màn hình-xác nhận lặp đi lặp lại thay vì một lệnh gọi API duy nhất, mức tiêu thụ token trên mỗi tác vụ có thể chạy cao hơn so với một agent dựa trên API truyền thống tương đương hoàn thành công việc tương tự về mặt khái niệm, đơn giản vì chi phí chung trong vòng lặp xác nhận trực quan làm cho mô hình sử dụng máy tính đáng tin cậy ngay từ đầu.
Đây không phải là một lý do để tránh Astra cho các tác vụ mà nó thực sự phù hợp, phần đuôi dài của phần mềm không có API mà nó có thể tự động hóa một cách độc đáo. Đó là một lý do để thực sự chạy một thử nghiệm chi phí thực tế trên quy trình làm việc cụ thể của bạn trước khi cho rằng tỷ lệ giá cao cấp trên mỗi token mở rộng quy mô theo cách chi phí của một mô hình rẻ hơn, đơn giản hơn sẽ làm.
Tham Khảo Nhanh: Những Gì Đã Hỏng Và Cách Khắc Phục
Đối với bất kỳ ai muốn phiên bản cô đọng để giữ trong tay, đây là mọi vấn đề đã được ghi nhận từ lớp học nâng cao này được ghép trực tiếp với cách khắc phục thực tế của nó.
Giới hạn phiên làm việc bị đốt cháy trong vòng 20 phút khi sử dụng tiêu chuẩn. Cách khắc phục: chia nhiệm vụ thành các đơn vị nhỏ, được checkpoint hóa rõ ràng và yêu cầu mô hình ước tính mức tiêu thụ ngân sách trước khi bắt đầu một đơn vị công việc.
Quyền truy cập bị kiểm soát, phân tán, không có mốc thời gian công bố. Cách khắc phục: phát hiện tính khả dụng theo chương trình trước khi phụ thuộc vào Astra như một mô hình chính và xây dựng một dự phòng rõ ràng, có thể nhìn thấy thay vì cho rằng quyền truy cập phổ biến.
Sự suy giảm độ tin cậy trước khi ra mắt trong xử lý ngữ cảnh dài và tệp được báo cáo bởi người dùng trả phí. Cách khắc phục: kiểm tra các quy trình làm việc thực tế cụ thể của bạn trực tiếp thay vì cho rằng hiệu suất benchmark dự đoán trường hợp sử dụng cụ thể của bạn và báo cáo các suy giảm cụ thể thông qua kênh cộng đồng nhà phát triển của chính OpenAI, nơi khiếu nại được ghi nhận ban đầu đã được đưa ra.
Sự trôi dạt âm thầm khi sử dụng máy tính, nơi một cú nhấp chuột rơi vào trạng thái giao diện người dùng trông giống như mong đợi nhưng không hoàn toàn chính xác. Cách khắc phục: yêu cầu các bước chụp ảnh màn hình và xác nhận rõ ràng tại mỗi điểm điều hướng có ý nghĩa thay vì tin tưởng vào việc thực thi nhiều bước để tiến hành chính xác mà không được kiểm tra.
Chi phí token tăng cao hơn dự kiến do vòng lặp xác nhận trực quan lặp đi lặp lại. Cách khắc phục: chạy một thử nghiệm chi phí thực tế trên khối lượng nhiệm vụ thực tế của quy trình làm việc cụ thể của bạn trước khi cam kết ngân sách production, thay vì dự đoán từ tỷ lệ trên mỗi token chính một mình.
Cách Astra So Sánh Với Các Agent Sử Dụng Máy Tính Khác Hiện Nay
Astra không ra mắt vào một lĩnh vực trống rỗng. Grok Bot của xAI và Claude Code và Cowork của Anthropic đang chạy các kiến trúc agent liên tục, truy cập công cụ thực tế tương tự, và sự so sánh trung thực có ý nghĩa để quyết định cái nào thực sự phù hợp với một nhiệm vụ nhất định thay vì mặc định chọn cái ra mắt gần đây nhất.
Điểm mạnh kiến trúc thực sự của Grok Bot là máy tính đám mây liên tục trên mỗi agent, có nghĩa là một Bot tiếp tục hoạt động sau khi bạn đóng hoàn toàn máy tính xách tay của mình, với các biện pháp bảo vệ ranh giới phê duyệt thực tế, đã được xác nhận xung quanh mật khẩu, 2FA và thanh toán cụ thể. Điểm mạnh của Astra là khác, hiệu suất benchmark sử dụng máy tính thô, điểm số OSWorld 2.0 72,6% trong khoảng một nửa thời gian của GPT-5.6 Sol và sự cải thiện được ghi nhận trong việc báo cáo trung thực các giới hạn của chính nó thay vì bịa đặt hoàn thành.
Claude Code và Cowork có thành tích lâu hơn, với nhiều triển khai doanh nghiệp được ghi nhận trong các ngành được quản lý cụ thể và một mô hình harness được thiết lập tốt, chuyển giao phiên làm việc bền vững, lý luận và thực thi riêng biệt, mà Anthropic đã công bố chi tiết.
Khung quyết định thực tế đáng áp dụng: nếu nhiệm vụ cụ thể cần hoạt động liên tục, không giám sát thực sự trong nhiều giờ hoặc nhiều ngày, kiến trúc của Grok Bot được xây dựng cho chính xác điều đó. Nếu nhiệm vụ là một công việc sử dụng máy tính trong một phiên làm việc có giới hạn, nơi độ chính xác điều hướng thô và tự báo cáo trung thực quan trọng nhất, lợi thế benchmark hiện tại của Astra làm cho nó trở thành lựa chọn mạnh hơn, một khi bạn đã tính đến ma sát giới hạn phiên làm việc được đề cập ở trên. Nếu nhiệm vụ nằm trong một harness mã hóa cụ thể với các mẫu chạy dài, được ghi chép, trưởng thành, Claude Code vẫn là mặc định an toàn hơn.
Không có cái nào là người chiến thắng phổ quát. Kỹ năng thực tế, phù hợp với mọi thứ khác trong lớp học nâng cao này, là kết hợp công cụ cụ thể với các yêu cầu thực tế của nhiệm vụ cụ thể thay vì cho rằng tùy chọn mới nhất, ấn tượng nhất về benchmark là tự động chính xác cho bất cứ điều gì bạn đang xây dựng.
Hiểu Sâu Hơn Về Các Con Số Benchmark
Đáng để dành thêm một chút thời gian cho những gì các con số benchmark chính thực sự đo lường, vì một tỷ lệ phần trăm thô mà không có ngữ cảnh có thể gây hiểu lầm về những gì thực sự được cải thiện.
Điểm số 99,9% của ARC-AGI-3, với một harness đầy đủ, đo lường lý luận trừu tượng và khái quát hóa trên các nhiệm vụ được thiết kế cụ thể để chống lại sự ghi nhớ, có nghĩa là đây không phải là một benchmark mà một mô hình có thể đạt điểm cao chỉ bằng cách đã thấy các vấn đề tương tự trong quá trình đào tạo. Một điểm số gần như hoàn hảo ở đây báo hiệu khả năng giải quyết vấn đề linh hoạt, thực sự chứ không phải là khớp mẫu với các giải pháp đã biết.
Điểm số 98% của FrontierMath tier 4 đáng chú ý cụ thể vì tier 4 đại diện cho loại khó nhất trong bộ benchmark đó, các vấn đề thường yêu cầu lý luận cấp độ nghiên cứu toán học thực sự thay vì áp dụng một kỹ thuật đã biết. Đạt điểm cao ở tier này là một tuyên bố có ý nghĩa khác biệt so với đạt điểm tốt ở các vấn đề tier 1 hoặc 2.
Điểm số 100% của ExploitBench, so với 78,5% của Sol, đo lường khả năng xác định và khai thác các lỗ hổng bảo mật trong môi trường thử nghiệm có kiểm soát. Đây chính xác là khả năng đã thúc đẩy xếp hạng an toàn Critical của Astra được thảo luận trước đó trong phần triển khai, cùng một khả năng làm cho nó thực sự hữu ích cho nghiên cứu bảo mật phòng thủ là chính xác những gì đòi hỏi việc triển khai theo giai đoạn, có kiểm soát, đây là hai mặt của cùng một bước nhảy vọt về khả năng cơ bản, không phải là các sự kiện không liên quan.
Điểm số sử dụng máy tính thế giới thực của OSWorld 2.0, 72,6% trong khoảng 40 phút so với 65,7% của Sol trong 75 phút, là con số duy nhất có liên quan trực tiếp nhất cho bất kỳ ai có kế hoạch thực sự sử dụng Astra cho các quy trình làm việc sử dụng máy tính mà lớp học nâng cao này tập trung vào, vì nó đo lường khả năng chính xác, điều hướng phần mềm thực tế, mà phần còn lại của hướng dẫn này được xây dựng xung quanh.
Một Ví Dụ Cụ Thể: Kết Hợp Các Cách Khắc Phục
Đây là cách các điều chỉnh này kết hợp với nhau trong một nhiệm vụ thực tế, phổ biến: yêu cầu Astra điều hướng một công cụ nội bộ không có API để trích xuất và đối chiếu một báo cáo.
Bắt đầu bằng cách xác nhận rằng Astra thực sự phân giải cho tài khoản này, dự phòng rõ ràng nếu nó không, theo cách xử lý quyền truy cập bị kiểm soát ở trên. Xác định phạm vi nhiệm vụ thành các đơn vị được checkpoint hóa đủ nhỏ để vừa vặn thoải mái trong tốc độ đốt cháy phiên làm việc được ghi nhận, thay vì một hướng dẫn lan man. Yêu cầu kỷ luật chụp ảnh màn hình-xác nhận tại mỗi bước điều hướng, vì đây chính xác là kịch bản sử dụng máy tính nơi sự trôi dạt UI âm thầm là rủi ro thực sự. Và coi bất kỳ điểm nào mà Astra báo cáo một trình chặn cụ thể một cách trung thực, thiếu quyền, trạng thái UI bất ngờ, thay vì đẩy qua nó với một kết quả xấp xỉ.
Không có điều chỉnh nào trong số này yêu cầu công cụ kỳ lạ. Chúng là phản ứng thực tế, trực tiếp đối với bốn hành vi cụ thể, đã được ghi nhận: giới hạn phiên làm việc, quyền truy cập bị kiểm soát, rủi ro trôi dạt khi sử dụng máy tính và cải thiện tính trung thực về các giới hạn, được áp dụng cho một nhiệm vụ cụ thể thay vì được mô tả một cách trừu tượng.
Những Sai Lầm Phổ Biến Mà Mọi Người Đã Mắc Phải
Cho rằng sự vượt trội về benchmark có nghĩa là sự vượt trội về production ngay ngày đầu tiên. Các con số ARC-AGI-3 và ExploitBench là thực tế và ấn tượng. Chúng không cho bạn biết bất cứ điều gì về tốc độ đốt cháy phiên làm việc hoặc tính khả dụng của quyền truy cập, cả hai hiện đang là nút thắt cổ chai thực tế đối với nhiều người dùng thực tế.
Xây dựng mà không có đường dự phòng vì "mọi người lẽ ra đã có quyền truy cập vào lúc này." Việc triển khai theo giai đoạn không có ngày kết thúc được công bố. Một sự phụ thuộc mong manh như thế này trong mã production là một lựa chọn bạn đang đưa ra, không phải là một hậu quả không thể tránh khỏi của việc sử dụng một mô hình mới.
Coi một giới hạn được nêu ra như một sự thất bại cần vượt qua thay vì thông tin để hành động. Với sự cải thiện được ghi nhận trong việc tự báo cáo trung thực, việc bác bỏ "Tôi không thể hoàn thành việc này" và reprompt mạnh mẽ hơn là đang chống lại hành vi được cải thiện thực tế của mô hình, không phải xung quanh một điểm yếu.
Bỏ qua rủi ro trôi dạt cụ thể khi sử dụng máy tính vì nó có vẻ giống như "chỉ một agent khác." Mô hình pixel-và-nhấp chuột có một chế độ thất bại khác với gọi công cụ dựa trên API, và việc coi nó giống hệt nhau trong prompt của bạn sẽ bỏ lỡ kỷ luật chụp ảnh màn hình-xác nhận cụ thể thực sự giảm thiểu nó.
Các Câu Hỏi Thường Gặp Từ Người Dùng Sớm Thực Tế
Tổng hợp các câu hỏi cụ thể xuất hiện nhiều lần trong các diễn đàn nhà phát triển và trình theo dõi vấn đề kể từ khi ra mắt.
Giới hạn phiên làm việc có áp dụng giống nhau trên tất cả các cấp đăng ký không? Thời gian đốt cháy 20 phút được ghi nhận đã được báo cáo cụ thể trên đăng ký cấp Plus. Các giới hạn cấp Pro đã được công bố riêng, với mức cho phép tin nhắn hàng ngày cao hơn đáng kể, nhưng mô hình cơ bản, rằng các phiên làm việc sử dụng máy tính và nỗ lực suy luận cao tiêu thụ ngân sách nhanh hơn so với các phiên làm việc chỉ văn bản tương đương, áp dụng theo tỷ lệ trên tất cả các cấp ngay cả khi các con số tuyệt đối khác nhau. Kiểm tra các giới hạn đã công bố của cấp cụ thể của bạn thay vì cho rằng con số cấp Plus áp dụng phổ biến.
Nếu Astra chưa phân giải cho tài khoản của tôi, có cách nào để yêu cầu quyền truy cập sớm hơn không? Báo cáo độc lập xác nhận việc triển khai tuân theo một mô hình kiểm soát cấp tổ chức mà không có cơ chế yêu cầu công bố để tăng tốc cá nhân. Câu trả lời thực tế là xây dựng logic dự phòng của bạn đúng cách, như đã đề cập ở trên, quan trọng hơn việc cố gắng đẩy nhanh quyền truy cập, vì mốc thời gian thực sự không được công bố hoặc có thể dự đoán từ bên ngoài.
Sự cải thiện về tính trung thực của các giới hạn có nghĩa là Astra từ chối nhiều nhiệm vụ hơn nói chung không? Không, và điều này đáng để chính xác. Đánh giá thẻ hệ thống cụ thể đo lường liệu mô hình có thừa nhận một giới hạn mà nó thực sự có hay không, không phải liệu nó có trở nên thận trọng hơn về việc thực hiện các nhiệm vụ nói chung hay không. Tỷ lệ trình bày sai thấp hơn có nghĩa là nó trung thực hơn khi một cái gì đó thực sự không thể được hoàn thành như yêu cầu, không phải là nó cố gắng ít việc hơn ngay từ đầu.
Cách tiếp cận sử dụng máy tính có thực sự cần thiết cho các nhiệm vụ có API sạch sẽ không? Không, và đây là một điểm thực tế quan trọng mà lớp học nâng cao này chưa nêu rõ ràng. Đối với bất kỳ nhiệm vụ nào mà một API sạch, được ghi chép đầy đủ đã tồn tại, một cách tiếp cận dựa trên API truyền thống vẫn nhanh hơn, rẻ hơn và đáng tin cậy hơn so với điều hướng sử dụng máy tính. Lợi thế thực sự của Astra là cụ thể phần đuôi dài của phần mềm không có API, hoặc nơi giao diện người dùng chính nó là giao diện đáng tin cậy duy nhất. Sử dụng sử dụng máy tính vì nhiệm vụ yêu cầu nó, không phải vì nó là tùy chọn mới hơn, nghe có vẻ ấn tượng hơn.
Mở Rộng Về Những Sai Lầm Phổ Biến
Một vài sai lầm được nêu tên trước đó đáng để phân tích với chi tiết cụ thể hơn, vì phiên bản rút gọn có thể đánh giá thấp mức độ dễ mắc phải chúng.
Cho rằng sự vượt trội về benchmark có nghĩa là sự vượt trội về production ngay ngày đầu tiên, mở rộng. Sai lầm này kết hợp cụ thể vì môi trường benchmark được kiểm soát và không tái tạo ma sát giới hạn phiên làm việc, quyền truy cập bị kiểm soát hoặc sự không nhất quán UI thế giới thực được ghi nhận trong suốt lớp học nâng cao này. Một mô hình có thể thực sự kiếm được điểm số benchmark của nó thông qua khả năng thực tế trong khi vẫn khó triển khai một cách đáng tin cậy trong những tuần đầu tiên của nó, và việc coi những điều này là các sự kiện mâu thuẫn thay vì bổ sung dẫn đến việc phóng đại sự sẵn sàng của Astra hoặc bác bỏ những lợi ích khả năng thực tế của nó, cả hai đều bỏ lỡ bức tranh chính xác.
Xây dựng mà không có đường dự phòng, mở rộng. Chế độ thất bại cụ thể mà điều này tạo ra trong thực tế là một tính năng hoạt động hoàn hảo cho nhà phát triển đang thử nghiệm nó, người tình cờ có quyền truy cập sớm, và sau đó thất bại âm thầm hoặc với một lỗi khó hiểu đối với một phần đáng kể người dùng thực tế chưa có quyền truy cập mà không có lỗi của họ. Đây là một chế độ thất bại đặc biệt tồi tệ vì nó vô hình trong quá trình thử nghiệm của riêng bạn và chỉ xuất hiện khi người dùng thực tế gặp phải nó, chính xác là loại lỗi làm xói mòn lòng tin một cách âm thầm thay vì thất bại ồn ào để bị phát hiện sớm.
Coi một giới hạn được nêu ra như một sự thất bại cần vượt qua, mở rộng. Rủi ro cụ thể ở đây là đào tạo lại hành vi của mô hình theo hướng sai trong suốt một phiên làm việc. Nếu mọi câu "Tôi không thể làm điều này" trung thực đều gặp phải một reprompt hung hăng yêu cầu nó cố gắng hơn nữa, bạn đang ngầm dạy mô hình rằng sự trung thực bị trừng phạt và sự xấp xỉ tự tin được khen thưởng, điều này làm suy yếu sự cải thiện chính xác mà thẻ hệ thống ghi lại. Coi một giới hạn trung thực như thông tin hữu ích và điều chỉnh cách tiếp cận của riêng bạn để đáp lại, củng cố hành vi tốt hơn.
Bỏ qua rủi ro trôi dạt cụ thể khi sử dụng máy tính, mở rộng. Sai lầm này rất dễ mắc phải vì các tác nhân sử dụng máy tính thường thành công trong vài lần thử đầu tiên với một quy trình nhất định, tạo ra sự tự tin giả tạo trước khi một bản cập nhật giao diện, một cửa sổ bật lên bất ngờ hoặc trạng thái trang hơi khác gây ra một sai sót thầm lặng mà không ai để ý vì không còn ai kiểm tra nữa. Kỷ luật xác nhận ảnh chụp màn hình tốn một chút chi phí cho mỗi lần chạy, và sự cám dỗ để bỏ qua nó khi mọi thứ dường như đang hoạt động ổn định chính là lúc nó đang bảo vệ bạn khỏi một chế độ thất bại chưa xảy ra, chứ không phải một chế độ đã được chứng minh là không cần thiết.
Tình Trạng Thực Tế Hiện Tại
GPT-6 Astra là một bước nhảy vọt về năng lực thực sự, đã được xác nhận qua nhiều điểm chuẩn độc lập và thử nghiệm sản xuất sớm thực tế. Đồng thời, hiện tại, nó cũng là một mô hình có những ma sát thực tế, đã được ghi nhận: thời gian phiên nhanh, quyền truy cập không đồng đều và một mô hình sử dụng máy tính đòi hỏi kỷ luật nhắc nhở khác với những gì đã hiệu quả trên các thế hệ trước.
Cả hai điều đó đều đúng cùng một lúc, và kỹ năng thực sự để sử dụng nó tốt ngay bây giờ là xây dựng xung quanh nhóm sự thật thứ hai trong khi thực sự hưởng lợi từ nhóm sự thật thứ nhất. Đó không phải là một lưu ý tạm thời của tuần ra mắt. Đó là bức tranh chính xác về vị trí của một mô hình tiên phong trong những tuần đầu tiên của nó, trước khi các cạnh thô được làm mịn và trước khi quyền truy cập được bình thường hóa, và việc xây dựng quy trình làm việc của bạn dựa trên bức tranh trung thực đó ngay bây giờ có nghĩa là bạn sẽ không bị bất ngờ khi ma sát xuất hiện trong quá trình sản xuất của chính bạn.
Theo dõi @cyrilXBT để cập nhật khi quyền truy cập Astra được mở rộng hơn nữa và các điểm ma sát được giải quyết hoặc không.
