"Cài đặt llms.txt sẽ giúp AI dễ dàng trích dẫn trang web của bạn hơn."
Tin vào tuyên bố này, nhiều trang web đã xuất bản tệp llms.txt. Tuy nhiên, sau khi nhóm Ahrefs phân tích nhật ký máy chủ từ 137.000 tên miền, họ phát hiện ra rằng 97% tệp chưa từng được đọc dù chỉ một lần.
llms.txt là gì và tại sao nó đang trở nên phổ biến?
llms.txt là một tệp chỉ mục hướng đến máy móc được đề xuất vào năm 2024 bởi Jeremy Howard, đồng sáng lập của Answer.AI. Nó được đặt tại thư mục gốc của một trang web và tóm tắt tổng quan trang web cũng như các liên kết đến các trang quan trọng ở định dạng Markdown.
Mục tiêu là "cho phép các LLM và tác nhân hiểu cấu trúc mà không cần thu thập dữ liệu toàn bộ trang web." Tuy nhiên, ngành SEO sau đó đã thêm vào góc nhìn rằng nó "giúp dễ dàng được trích dẫn trong tìm kiếm AI," và những kỳ vọng đã tự phát triển.
Phản hồi của Google cũng góp phần gây ra sự nhầm lẫn.
- Trong Hướng dẫn AI Tổng quát của họ, họ đã tuyên bố rõ ràng rằng "các tệp đặc biệt như llms.txt là không cần thiết."
- Trong khi đó, Chrome Lighthouse đã thêm chức năng kiểm tra llms.txt cùng khoảng thời gian đó.
John Mueller của Google giải thích rằng nó "không dành cho tìm kiếm, mà là một công cụ hỗ trợ tạm thời cho các công cụ mã hóa AI," nhưng nhiều trang web đã tiến hành cài đặt với hy vọng "được AI tìm thấy."
Tổng quan về cuộc điều tra: Phân tích nhật ký của 137.000 tên miền trong 1 tháng
Nhóm Ahrefs đã sử dụng Web Analytics và Bot Analytics để tiến hành cuộc điều tra sau:
- Mục tiêu: Tất cả 137.210 tên miền có lưu lượng truy cập trong tháng 5 năm 2026
- Xác minh: Phân tích các yêu cầu đến đường dẫn /llms.txt cho mỗi tên miền theo mã phản hồi HTTP và tác nhân người dùng
- Kiểm soát chất lượng: Loại trừ các lỗi 404 mềm và tệp ảo, chỉ tính các tệp Markdown thực tế
Lưu ý: Vì người dùng Ahrefs Web Analytics có xu hướng có nhận thức kỹ thuật và SEO cao, hãy coi tỷ lệ chấp nhận 28% là giới hạn trên*.
5 điểm chính từ kết quả điều tra
✅ 28% trang web đã xuất bản llms.txt
Trong số 137.000 tên miền, khoảng 38.000 trang web đã cài đặt llms.txt.
Không có nền tảng AI nào từng chính thức tuyên bố họ đọc tệp này. Việc áp dụng được thúc đẩy bởi suy đoán rằng họ "có thể bắt đầu sử dụng nó," chứ không phải bởi xác nhận rằng họ thực sự làm vậy.
✅ 97% trong số đó có không truy cập nào
Trong số khoảng 38.000 tên miền có llms.txt hợp lệ, 97% không có yêu cầu nào trong suốt tháng Năm.
3% còn lại (khoảng 1.100 tên miền) đã nhận được tất cả lưu lượng truy cập llms.txt được đo lường. Tại thời điểm này, ngay cả khi bạn xuất bản llms.txt, khả năng cao là sẽ không có gì tìm nạp nó.
✅ Trong số 3% được đọc, 96% là truy cập từ bot
llms.txt là một tệp được viết cho máy móc, và trên thực tế, hầu như chỉ có máy móc đọc nó.
Truy cập từ con người là 4%. Điều này bao gồm các chuyên gia SEO kiểm tra trang web của đối thủ cạnh tranh và bot mở rộng liên kết khi một liên kết llms.txt được chia sẻ trong các ứng dụng trò chuyện.
Điều thú vị là, Slackbot đã tìm nạp llms.txt thường xuyên hơn PerplexityBot. Việc bot xem trước liên kết cho các ứng dụng trò chuyện hoạt động tốt hơn bot tìm kiếm AI cho thấy rõ ràng mức độ quan tâm thực tế từ phía tìm kiếm AI.
✅ Bot AI chiếm 19,5%, với những người đọc lớn nhất là các tác nhân mã hóa
77% bot tìm nạp llms.txt không phải là công cụ AI.
Bot AI chiếm 19,5% tổng số, nhưng phân tích chi tiết cho thấy một thực tế khác với kỳ vọng:
- Tác nhân AI (Claude Code, v.v.): 10,5%
- Trình thu thập dữ liệu đào tạo AI (GPTBot, v.v.): 5,3%
- Trợ lý AI: 2,5%
- Bot truy xuất tìm kiếm AI (Perplexity, OAI-SearchBot, v.v.): 1,1%
Chỉ riêng Claude Code đã gửi nhiều yêu cầu hơn tất cả các bot truy xuất tìm kiếm AI cộng lại.
Nói cách khác, llms.txt không thực sự được đọc để "được trích dẫn trong tìm kiếm AI," mà để "các tác nhân mã hóa phân tích tài liệu." Điều này hoàn toàn phù hợp với lời giải thích của John Mueller.
✅ Không có bot AI nào "tự động tìm kiếm" llms.txt không tồn tại
Đây là phát hiện rõ ràng nhất.
Khi phân tích các yêu cầu đến các tệp llms.txt không tồn tại (đường dẫn trả về 404), truy cập từ bot AI là không.
98% những người truy cập các trang 404 là con người (có thể là các chuyên gia SEO đang nghiên cứu đối thủ cạnh tranh). Hệ thống AI không tự động đi tìm tệp này. Chúng chỉ truy xuất nó nếu sự tồn tại của tệp được biết đến thông qua các liên kết, lập chỉ mục hoặc hướng dẫn của người dùng.
Bạn có nên tạo llms.txt? Ưu và nhược điểm
Ưu điểm
- Chi phí gần như bằng không: Các nền tảng như Wix đang bắt đầu tự động tạo chúng, vì vậy công sức bỏ ra là tối thiểu.
- Hiệu quả cho các tác nhân mã hóa: Nếu khách hàng của bạn sử dụng Claude Code, nó có thể thực sự được đọc.
- Chuẩn bị cho tương lai: Google đã tuyên bố tương lai của tìm kiếm là tác nhân, và nó có thể có tác động thông qua lớp tác nhân.
Nhược điểm
- 97% không được đọc: Tỷ lệ cơ bản quá khắc nghiệt.
- Không có tác dụng đối với tìm kiếm AI: Tỷ lệ của bot truy xuất tìm kiếm AI chỉ là 1,1%.
- Rủi ro bảo mật: Vì các tác nhân được thiết kế để tin tưởng tệp này, nó có thể là mục tiêu cho việc tiêm prompt. Các nhà nghiên cứu bảo mật đã bắt đầu điều tra điều này.
Kết luận: Nếu bạn muốn được trích dẫn trong tìm kiếm AI, có những ưu tiên cao hơn llms.txt
Tại thời điểm này, nhược điểm nhiều hơn ưu điểm.
Nếu mục tiêu của bạn là xuất hiện trong tìm kiếm AI, có những cách khác để tăng khả năng hiển thị đáng tin cậy hơn llms.txt.
Nếu bạn vẫn muốn xem xét nó, chúng tôi khuyên bạn nên làm theo những điều sau:
- Kiểm tra nhật ký của riêng bạn: Tỷ lệ cơ bản là 97% khả năng không có người đọc.
- Để CMS tự động tạo: Nếu hiệu quả không chắc chắn, việc giảm thiểu công sức là hợp lý.
- Hướng dẫn các tác nhân đến tệp: AI sẽ không tìm nạp nó trừ khi được hướng dẫn, vì vậy bạn cần liên kết đến nó từ một nơi nào đó.
Phương pháp điều tra chi tiết, phân tích đầy đủ theo danh mục bot và thông tin chi tiết về rủi ro bảo mật được giải thích trong bài viết blog chính của Ahrefs 👉 https://ahrefs.com/blog/ja/llmstxt-study/
