"llms.txt इंस्टॉल करने से AI के लिए आपकी साइट को उद्धृत करना आसान हो जाएगा।"
इस दावे पर विश्वास करते हुए, कई साइटों ने पहले ही llms.txt फ़ाइलें प्रकाशित कर दी हैं। हालाँकि, Ahrefs टीम द्वारा 137,000 डोमेन के सर्वर लॉग का विश्लेषण करने के बाद, यह पता चला कि 97% फ़ाइलों को एक बार भी नहीं पढ़ा गया है।
llms.txt क्या है और यह ट्रेंड क्यों कर रहा है?
llms.txt एक मशीन-उन्मुख इंडेक्स फ़ाइल है जिसे 2024 में Answer.AI के सह-संस्थापक जेरेमी हॉवर्ड द्वारा प्रस्तावित किया गया था। इसे किसी साइट के रूट पर रखा जाता है और यह साइट के अवलोकन और महत्वपूर्ण पृष्ठों के लिंक को Markdown प्रारूप में सारांशित करता है।
इसका लक्ष्य "LLMs और एजेंटों को पूरी साइट को क्रॉल किए बिना संरचना को समझने देना" है। हालाँकि, SEO उद्योग ने बाद में यह फ्रेमिंग जोड़ दी कि यह "AI खोज में उद्धृत होना आसान बनाता है," और उम्मीदें अपने आप बढ़ गईं।
Google की प्रतिक्रिया ने भी भ्रम को बढ़ाया है।
- अपने जनरेटिव AI गाइड में, उन्होंने स्पष्ट रूप से कहा कि "llms.txt जैसी विशेष फ़ाइलें आवश्यक नहीं हैं।"
- इस बीच, Chrome Lighthouse ने लगभग उसी समय एक llms.txt जाँच फ़ंक्शन जोड़ा।
Google के जॉन मुलर ने इसे "खोज के लिए नहीं, बल्कि AI कोडिंग टूल के लिए एक अस्थायी सहायता" बताया, लेकिन कई साइटें "AI द्वारा खोजे जाने" की उम्मीद में पहले से ही इंस्टॉलेशन के साथ आगे बढ़ रही थीं।
जांच अवलोकन: 1 महीने में 137,000 डोमेन का लॉग विश्लेषण
Ahrefs टीम ने जांच करने के लिए Web Analytics और Bot Analytics का उपयोग किया:
- लक्ष्य: वे सभी 137,210 डोमेन जिनमें मई 2026 में ट्रैफ़िक था
- सत्यापन: प्रत्येक डोमेन के लिए /llms.txt पथ पर अनुरोधों का HTTP प्रतिक्रिया और उपयोगकर्ता एजेंट द्वारा विश्लेषण किया गया
- गुणवत्ता नियंत्रण: सॉफ्ट 404s और प्रेत फ़ाइलों को बाहर रखा गया, केवल वास्तविक Markdown फ़ाइलों की गणना की गई
नोट: चूंकि Ahrefs Web Analytics उपयोगकर्ताओं में उच्च तकनीकी और SEO जागरूकता होती है, इसलिए 28% अपनाने की दर को एक ऊपरी सीमा* मानें।
जांच परिणामों से 5 मुख्य बिंदु
✅ 28% साइटों ने llms.txt प्रकाशित किया है
137,000 डोमेन में से, लगभग 38,000 साइटों ने llms.txt इंस्टॉल किया था।
किसी भी AI प्लेटफ़ॉर्म ने कभी आधिकारिक तौर पर यह नहीं कहा कि वे इस फ़ाइल को पढ़ते हैं। अपनाने की प्रक्रिया इस अटकल से प्रेरित थी कि वे "इसका उपयोग करना शुरू कर सकते हैं," न कि इस पुष्टि से कि वे वास्तव में ऐसा करते हैं।
✅ उनमें से 97% तक शून्य पहुँच है
एक वैध llms.txt वाले लगभग 38,000 डोमेन में से, 97% तक मई के महीने के दौरान शून्य अनुरोध थे।
शेष 3% (लगभग 1,100 डोमेन) ने सभी मापा गया llms.txt ट्रैफ़िक प्राप्त किया। इस बिंदु पर, भले ही आप llms.txt प्रकाशित करें, इस बात की अत्यधिक संभावना है कि कोई इसे नहीं लाएगा।
✅ जो 3% पढ़े गए, उनमें से 96% बॉट्स से पहुँच थी
llms.txt मशीनों के लिए लिखी गई एक फ़ाइल है, और वास्तव में, लगभग केवल मशीनें ही इसे पढ़ रही हैं।
मनुष्यों से पहुँच 4% है। इसमें SEO पेशेवर शामिल हैं जो प्रतिस्पर्धी साइटों की जाँच कर रहे हैं और लिंक विस्तार बॉट जब चैट ऐप में llms.txt लिंक साझा किया जाता है।
दिलचस्प बात यह है कि Slackbot ने PerplexityBot की तुलना में अधिक बार llms.txt लाया। तथ्य यह है कि चैट ऐप के लिए लिंक पूर्वावलोकन बॉट AI खोज बॉट से बेहतर प्रदर्शन करते हैं, यह AI खोज पक्ष से वास्तविक रुचि के स्तर को स्पष्ट रूप से दर्शाता है।
✅ AI बॉट 19.5% हैं, जिनमें सबसे बड़े पाठक कोडिंग एजेंट हैं
llms.txt लाने वाले 77% बॉट AI उपकरण नहीं हैं।
AI बॉट कुल का 19.5% हैं, लेकिन एक विस्तृत विवरण उम्मीदों से अलग वास्तविकता को प्रकट करता है:
- AI एजेंट (Claude Code, आदि): 10.5%
- AI प्रशिक्षण क्रॉलर (GPTBot, आदि): 5.3%
- AI सहायक: 2.5%
- AI खोज पुनर्प्राप्ति बॉट (Perplexity, OAI-SearchBot, आदि): 1.1%
अकेले Claude Code ने सभी AI खोज पुनर्प्राप्ति बॉट्स की तुलना में अधिक अनुरोध भेजे।
दूसरे शब्दों में, llms.txt वास्तव में "AI खोज में उद्धृत होने" के लिए नहीं पढ़ा जा रहा है, बल्कि "कोडिंग एजेंटों द्वारा दस्तावेज़ीकरण को पार्स करने" के लिए पढ़ा जा रहा है। यह जॉन मुलर के स्पष्टीकरण के साथ पूरी तरह से मेल खाता है।
✅ शून्य AI बॉट गैर-मौजूद llms.txt की "तलाश" करते हैं
यह सबसे स्पष्ट खोज थी।
गैर-मौजूद llms.txt फ़ाइलों (404 लौटाने वाले पथ) के अनुरोधों का विश्लेषण करते समय, AI बॉट्स से पहुँच शून्य थी।
404 पृष्ठों तक पहुँचने वाले 98% मानव थे (संभवतः SEO पेशेवर प्रतिस्पर्धी शोध कर रहे थे)। AI सिस्टम स्वतः इस फ़ाइल की तलाश में नहीं जाते हैं। वे इसे केवल तभी प्राप्त करते हैं यदि फ़ाइल के अस्तित्व को लिंक, इंडेक्सिंग या उपयोगकर्ता निर्देशों के माध्यम से जाना जाता है।
क्या आपको llms.txt बनाना चाहिए? पक्ष और विपक्ष
पक्ष
- लागत लगभग शून्य है: Wix जैसे प्लेटफ़ॉर्म स्वतः उन्हें जेनरेट करना शुरू कर रहे हैं, इसलिए प्रयास न्यूनतम है।
- कोडिंग एजेंटों के लिए प्रभावी: यदि आपके ग्राहक Claude Code का उपयोग करते हैं, तो यह वास्तव में पढ़ा जा सकता है।
- भविष्य के लिए तैयारी: Google ने कहा है कि खोज का भविष्य एजेंटिक है, और इसका एजेंट परत के माध्यम से प्रभाव हो सकता है।
विपक्ष
- 97% नहीं पढ़े जाते: आधार दर बहुत कठोर है।
- AI खोज पर कोई प्रभाव नहीं: AI खोज पुनर्प्राप्ति बॉट का हिस्सा मात्र 1.1% है।
- सुरक्षा जोखिम: चूंकि एजेंट इस फ़ाइल पर भरोसा करने के लिए डिज़ाइन किए गए हैं, यह प्रॉम्प्ट इंजेक्शन का लक्ष्य हो सकता है। सुरक्षा शोधकर्ता पहले से ही इसकी जाँच कर रहे हैं।
निष्कर्ष: यदि आप AI खोज में उद्धृत होना चाहते हैं, तो llms.txt से अधिक प्राथमिकताएँ हैं
इस बिंदु पर, नुकसान फायदे से अधिक हैं।
यदि आपका लक्ष्य AI खोज में दिखाई देना है, तो llms.txt की तुलना में दृश्यता बढ़ाने के अधिक विश्वसनीय तरीके हैं।
यदि आप अभी भी इस पर विचार करना चाहते हैं, तो हम निम्नलिखित सुझाव देते हैं:
- अपने स्वयं के लॉग जाँचें: आधार दर शून्य पाठकों की 97% संभावना है।
- इसे CMS ऑटो-जनरेशन पर छोड़ दें: यदि प्रभाव अनिश्चित है, तो प्रयास को कम करना तर्कसंगत है।
- एजेंटों को फ़ाइल पर मार्गदर्शित करें: AI इसे तब तक नहीं लाएगा जब तक निर्देश न दिया जाए, इसलिए आपको इसे कहीं से लिंक करने की आवश्यकता है।
जांच की विस्तृत पद्धति, बॉट श्रेणी द्वारा पूर्ण विवरण और सुरक्षा जोखिमों के विवरण मुख्य Ahrefs ब्लॉग लेख में समझाए गए हैं 👉 https://ahrefs.com/blog/ja/llmstxt-study/
