Ngày 6 tháng 7 năm 2026, một bài báo đã xuất hiện trên ITmedia.
"Rào cản cho việc sử dụng AI đang chuyển từ hiệu suất mô hình sang 'đánh giá,' 'quản trị,' và 'hiệu quả chi phí,'" Jonathan Frankle, Nhà khoa học AI trưởng tại Databricks và đồng sáng lập MosaicML, cho biết.
Lập luận của ông rất đơn giản:
- AI đã đủ thông minh rồi. Chỉ nghĩ về cách sử dụng các mô hình hiện có đã để lại "hàng thập kỷ công việc."
- Điều cần thiết để triển khai AI tốt hơn không phải là phát triển các mô hình thông minh hơn, mà là đầu tư vào đánh giá và quản trị.
- AI "không đủ ở mức chính xác 70% hay 90%"; nó cần sự đánh giá nghiêm ngặt hơn gấp nhiều lần.
- Và thách thức lớn nhất là chuyển đổi tiêu chuẩn của con người về "công việc tốt là gì" thành một danh sách kiểm tra. Điều này "khó hơn nhiều so với việc phát triển mô hình lớn tiếp theo và có thể mất hơn 10 năm."
Đọc xong, tôi cảm thấy một nỗi đau nhói lên trong nhận thức.
Gần đây, tôi đã thử nghiệm đo lường "khối lượng sử dụng" AI. Tôi có một bảng điều khiển kéo số liệu sử dụng "Databricks" x "Claude Code/Codex/Cowork" thông qua OpenTelemetry vào Databricks, cập nhật mỗi sáng với "ai đã dùng công cụ nào, bao nhiêu, và với chi phí bao nhiêu."
Nhưng quan điểm của bài báo không phải là điều đó. "Công việc đó có tốt không?" — Việc đánh giá chất lượng Agent là một lỗ hổng lớn.
Tôi đưa bài báo cho Fable và hỏi: "Hãy nghĩ xem chúng ta nên đánh giá điều gì"
Vì vậy, tôi đã đưa URL của bài báo cho Claude (Fable 5), công cụ tôi sử dụng thường xuyên, và hỏi:
Đọc bài báo này và suy nghĩ về những gì chúng ta nên đánh giá.
Sau khi xem xét cơ sở hạ tầng log nội bộ và cấu hình bảng điều khiển của chúng tôi, Fable đã đưa ra một thiết kế bao gồm "ba lớp những thứ cần đánh giá."
Câu trả lời của Fable: Ba Lớp "Cần Đánh Giá"
Lời khuyên bên dưới """""""""""""""""""""""""""""""""
Lớp 1: Tín hiệu Ma sát (Hàng ngày, Mọi người, Đánh giá Cơ học)
Có những "dấu hiệu chất lượng kém" có thể được phát hiện một cách cơ học từ log mà không cần hỏi LLM.
- Vòng lặp Nghi ngờ: Sử dụng cùng một công cụ hơn 5 lần liên tiếp.
- Chi phí Bất thường: Tiêu tốn hơn $5 trong một phiên duy nhất.
- Tần suất Chặn: Dừng lại nhiều lần để chờ xác nhận của con người.
- Hiệu quả Bộ nhớ đệm: Tái sử dụng ngữ cảnh kém (tức là đọc lại mỗi lần).
- Lỗi Kết nối Công cụ: Liên tục không kết nối được với máy chủ MCP.
Lớp 2: Chất lượng Công việc (Hàng tuần, LLM Judge)
Tạo một hệ thống chuyển các log công việc của AI agent (dấu vết) cho LLM Judge để chấm điểm trên 8 trục.
- Đạt được Mục tiêu / Độ chính xác / Lựa chọn Công cụ / Trung thành với Bằng chứng / Tính hợp lệ của Các bước / Phục hồi sau Lỗi / An toàn / Hiệu quả
- Đạt yêu cầu nếu điểm trung bình từ 3.5 trở lên. Tuy nhiên, nếu "Đạt được Mục tiêu" hoặc "An toàn" từ 2 trở xuống, đó là thất bại ngay lập tức (hard fail) ngay cả khi mọi thứ khác đều hoàn hảo.
Tự động chấm điểm các phiên gần đây nhất vào tối Chủ nhật hàng tuần để "tỷ lệ đạt yêu cầu trong tuần" xuất hiện trong cuộc họp thường kỳ thứ Hai. Chỉ có các cảnh báo an toàn hard fail mới kích hoạt email cảnh báo vào sáng hôm sau.
Lớp 3: Biến Việc Đánh giá Thành Một Sản phẩm
Công việc mà bài báo nói là "mất 10 năm" — "chuyển đổi các tiêu chí cho công việc tốt thành một danh sách kiểm tra" — chính xác là những gì chúng ta nên cung cấp cho khách hàng với tư cách là nhà tư vấn AI và đào tạo doanh nghiệp. Bảng điều khiển đang chạy nội bộ trở thành bản demo bán hàng ngay lập tức.
"""""""""""""""""""""""""""""""""
Và nó đã được triển khai ngay trong ngày hôm đó
Đây là phần tuyệt vời của kỷ nguyên agent: cả ba lớp bắt đầu chạy ngay trong ngày hôm đó.
- Một view SQL cho Lớp 1 đã được thêm vào dưới dạng tab "Chất lượng" trên bảng điều khiển tổ chức và được công bố.
- Việc thực thi hàng tuần cho Lớp 2 đã được lên lịch, và các cảnh báo an toàn đã được tích hợp vào hệ thống giám sát.
- Một tài liệu thiết kế đề xuất cho Lớp 3 đã được ghi lại.
Tất cả những gì tôi làm là chọn chính sách, nhấp vào một vài nút phê duyệt, và chạy lệnh đăng ký lịch trình một lần.
"Phát hiện" ngay trong ngày đầu tiên
Và vào ngày đầu tiên vận hành, đã có hai phát hiện ngay lập tức.
Đầu tiên: Chúng tôi đã thua nặng khi được đo lường.
Khi chúng tôi chấm điểm 8 phiên agent nội bộ gần đây bằng Judge 8 trục, kết quả là — 1 đạt yêu cầu, 7 thất bại. Có một khoảng cách giữa "bắt AI làm nhiều việc" và "AI làm việc tốt" mà chỉ có thể thấy được khi đo lường.
Thứ hai: "Ma sát có thể khắc phục nếu được chỉ dạy" đã được tìm thấy.
Trong Cowork (không gian làm việc agent của Claude) của một thành viên, bảng điều khiển phát hiện ra rằng lỗi kết nối máy chủ MCP đã tăng từ 4 ngày hôm trước lên 12 ngày hôm đó. Xác thực plugin đã bị hỏng trong hai ngày, và họ vẫn tiếp tục sử dụng.
Người đó có lẽ chỉ nghĩ, "Nó hơi kỳ lạ," và tiếp tục làm việc. Nó có thể được sửa trong 5 phút bằng cách lên tiếng và sửa xác thực. "Ma sát có thể khắc phục nếu được chỉ dạy" tích tụ mà không được báo cáo cho ai — đây chính xác là điều chưa bao giờ thấy được trên bảng điều khiển sử dụng.
Ba điều tôi học được khi thử nghiệm
1. Đánh giá là một hoạt động vận hành, không phải một công cụ
Nếu bạn chỉ xây dựng cơ chế chấm điểm và dừng lại, thì cũng giống như không có nó. Chỉ khi bạn kết nối nó với việc thực thi thường xuyên hàng tuần và cảnh báo, và các con số xuất hiện trong cuộc họp thứ Hai, bạn mới có thể nói rằng bạn đang "đánh giá." "Đầu tư vào đánh giá" mà Frankle đề cập có lẽ là về vận hành, không phải công cụ.
2. Đặt một lớp đánh giá cơ học trước LLM Judge
Đánh giá Judge 8 trục rất mạnh mẽ, nhưng nó tốn thời gian và tiền bạc vì nó chạy một LLM. Sẽ thực tế hơn khi chạy các tín hiệu xác định như vòng lặp, chi phí bất thường và lỗi kết nối hàng ngày cho toàn bộ khối lượng, và sử dụng Judge để lấy mẫu hàng tuần.
3. Triển khai "90% là chưa đủ" có nghĩa là hard fail
Khi nhìn vào điểm trung bình, các vấn đề an toàn bị chôn vùi trong các điểm khác. Chỉ bằng cách thiết kế sao cho "nếu An toàn từ 2 trở xuống, đó là thất bại ngay cả khi những thứ khác hoàn hảo," chúng ta mới tiến gần hơn một bước tới "sự đánh giá nghiêm ngặt hơn gấp nhiều lần" được đề cập trong bài báo. Tỷ lệ đạt yêu cầu 1/8 thật đau đớn, nhưng nỗi đau này là điểm khởi đầu cho sự cải thiện.
Kết luận
"AI đã đủ thông minh rồi."
— Đó là lý do tại sao trận chiến tiếp theo là ai chấm điểm công việc được giao phó cho AI thông minh và chấm như thế nào.
Frankle nói đây là công việc kéo dài 10 năm.
Những thứ mất 10 năm sẽ trở thành lợi thế cạnh tranh nếu bạn bắt đầu càng sớm. Và việc bắt đầu đã có thể thực hiện trong một ngày với một AI agent.
Tại công ty của tôi (AI Brain Partners), chúng tôi giúp xây dựng hệ thống "đo lường và đánh giá việc sử dụng AI" này thông qua đào tạo doanh nghiệp chuyên về Claude Code và tư vấn AI. Nếu bạn đang thắc mắc, "Việc sử dụng AI của chúng tôi thực sự đang diễn ra như thế nào?" vui lòng xem các liên kết bên dưới.
- Đào tạo AI Agent cho Doanh nghiệp: https://ai-agent.camp/ja/lab/corporate-training
- Báo cáo Miễn phí "Cách Giới thiệu AI cho Doanh nghiệp": https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Bài báo gốc: ITmedia AI+ "Rào cản cho việc sử dụng AI đang chuyển sang đánh giá và quản trị" ngày 6 tháng 7 năm 2026)
