"llms.txt를 설치하면 AI가 내 사이트를 인용하기 쉬워집니다."
이 주장을 믿고 많은 사이트에서 이미 llms.txt 파일을 게시했습니다. 그러나 Ahrefs 팀이 137,000개 도메인의 서버 로그를 분석한 결과, 97%의 파일은 한 번도 읽히지 않은 것으로 밝혀졌습니다.
llms.txt란 무엇이며 왜 유행하고 있나?
llms.txt는 Answer.AI의 공동 창립자인 Jeremy Howard가 2024년에 제안한 기계 중심의 인덱스 파일입니다. 사이트 루트에 위치하며 사이트 개요와 중요한 페이지 링크를 Markdown 형식으로 요약합니다.
목표는 "전체 사이트를 크롤링하지 않고 LLM과 에이전트가 구조를 이해할 수 있게 하는 것"입니다. 그러나 이후 SEO 업계에서는 "AI 검색에서 인용되기 쉬워진다"는 프레이밍을 추가했고, 기대치가 제멋대로 커졌습니다.
Google의 반응도 혼란을 가중시켰습니다.
- Generative AI 가이드에서 "llms.txt와 같은 특수 파일은 필요하지 않다"고 명시적으로 밝혔습니다.
- 한편 Chrome Lighthouse는 같은 시기에 llms.txt 확인 기능을 추가했습니다.
Google의 John Mueller는 "검색용이 아니라 AI 코딩 도구를 위한 임시 지원"이라고 설명했지만, 많은 사이트에서 "AI가 찾아주길" 바라며 이미 설치를 진행하고 있었습니다.
조사 개요: 1개월간 137,000개 도메인 로그 분석
Ahrefs 팀은 Web Analytics와 Bot Analytics를 사용하여 다음 조사를 수행했습니다.
- 대상: 2026년 5월에 트래픽이 있었던 모든 137,210개 도메인
- 확인: 각 도메인의 /llms.txt 경로에 대한 요청을 HTTP 응답 및 사용자 에이전트별로 분석
- 품질 관리: 소프트 404 및 유령 파일은 제외하고 실제 Markdown 파일만 집계
참고: Ahrefs Web Analytics 사용자는 기술 및 SEO 인식도가 높은 경향이 있으므로 28%의 채택률을 상한선*으로 간주하세요.
조사 결과의 5가지 핵심 포인트
✅ 사이트의 28%가 llms.txt를 게시함
137,000개 도메인 중 약 38,000개 사이트에 llms.txt가 설치되어 있었습니다.
어떤 AI 플랫폼도 이 파일을 읽는다고 공식적으로 밝힌 적은 없습니다. 채택은 "사용하기 시작할 수도 있다"는 추측에 의해 주도되었으며, 실제로 사용한다는 확인 때문이 아니었습니다.
✅ 그중 97%는 액세스 횟수가 0임
유효한 llms.txt가 있는 약 38,000개 도메인 중 97%는 5월 한 달간 요청이 0건이었습니다.
나머지 3%(약 1,100개 도메인)가 측정된 모든 llms.txt 트래픽을 수신했습니다. 현재 시점에서는 llms.txt를 게시해도 가져오는 도구가 없을 확률이 압도적으로 높습니다.
✅ 읽힌 3% 중 96%는 봇의 액세스
llms.txt는 기계를 위해 작성된 파일이며, 실제로 거의 기계만이 읽고 있습니다.
사람의 액세스는 4%입니다. 여기에는 경쟁사 사이트를 확인하는 SEO 전문가와 채팅 앱에서 llms.txt 링크가 공유될 때의 링크 확장 봇이 포함됩니다.
흥미롭게도 Slackbot이 PerplexityBot보다 llms.txt를 더 자주 가져왔습니다. 채팅 앱용 링크 미리보기 봇이 AI 검색 봇보다 성능이 뛰어나다는 사실은 AI 검색 측의 실제 관심 수준을 명확히 보여줍니다.
✅ AI 봇은 19.5%를 차지하며, 가장 많이 읽는 주체는 코딩 에이전트
llms.txt를 가져오는 봇의 77%는 AI 도구가 아닙니다.
AI 봇은 전체의 19.5%를 차지하지만, 세부적으로 보면 기대와는 다른 현실을 보여줍니다.
- AI 에이전트(Claude Code 등): 10.5%
- AI 트레이닝 크롤러(GPTBot 등): 5.3%
- AI 어시스턴트: 2.5%
- AI 검색 검색 봇(Perplexity, OAI-SearchBot 등): 1.1%
Claude Code 단독으로 모든 AI 검색 검색 봇을 합친 것보다 더 많은 요청을 보냈습니다.
즉, llms.txt는 실제로 "AI 검색에서 인용"되기 위해 읽히는 것이 아니라, "문서를 파싱하기 위한 코딩 에이전트"에 의해 읽히고 있습니다. 이는 John Mueller의 설명과 완전히 일치합니다.
✅ 존재하지 않는 llms.txt를 "찾아다니는" AI 봇은 0%
이것이 가장 명확한 발견이었습니다.
존재하지 않는 llms.txt 파일(404를 반환하는 경로)에 대한 요청을 분석했을 때 AI 봇의 액세스는 0건이었습니다.
404 페이지에 액세스하는 98%는 사람(아마도 경쟁사 조사를 하는 SEO 전문가)이었습니다. AI 시스템은 자발적으로 이 파일을 찾아다니지 않습니다. 파일의 존재가 링크, 인덱싱 또는 사용자 지침을 통해 알려진 경우에만 검색합니다.
llms.txt를 만들어야 할까요? 장단점
장점
- 비용이 거의 없음: Wix와 같은 플랫폼에서 자동 생성을 시작하고 있어 노력이 최소화됩니다.
- 코딩 에이전트에 효과적: 고객이 Claude Code를 사용한다면 실제로 읽힐 수 있습니다.
- 미래 대비: Google은 검색의 미래가 에이전트라고 밝혔으며, 에이전트 계층을 통해 영향을 미칠 수 있습니다.
단점
- 97%가 읽히지 않음: 기본 비율이 너무 낮습니다.
- AI 검색에 미치는 영향 없음: AI 검색 검색 봇의 비율은 고작 1.1%에 불과합니다.
- 보안 위험: 에이전트가 이 파일을 신뢰하도록 설계되어 있어 프롬프트 인젝션의 대상이 될 수 있습니다. 보안 연구원들이 이미 이를 조사하고 있습니다.
결론: AI 검색에서 인용되고 싶다면 llms.txt보다 우선순위가 높은 것들이 있습니다
현 시점에서 단점이 장점보다 큽니다.
목표가 AI 검색에 나타나는 것이라면 llms.txt보다 더 안정적으로 가시성을 높일 수 있는 다른 방법이 있습니다.
그래도 고려하고 싶다면 다음을 권장합니다.
- 자체 로그 확인: 기본 비율은 독자 수가 0일 확률이 97%입니다.
- CMS 자동 생성에 맡기기: 효과가 불확실하다면 노력을 최소화하는 것이 합리적입니다.
- 에이전트를 파일로 안내하기: 지시하지 않으면 AI가 가져오지 않으므로 어딘가에서 파일에 링크해야 합니다.
조사의 상세 방법론, 봇 카테고리별 전체 분석, 보안 위험에 대한 자세한 내용은 기본 Ahrefs 블로그 기사에서 설명합니다 👉 https://ahrefs.com/blog/ko/llmstxt-study/
