۱llms.txt دقیقاً چیست؟
llms.txt یک فایل متنی ساده با قالب Markdown است که در ریشهٔ سایت قرار میگیرد، یعنی در آدرسی مثل example.com/llms.txt. این فایل یک معرفی کوتاه از سایت دارد و فهرستی از مهم‌ترین صفحه‌ها همراه با توضیح یک‌خطی برای هر کدام. هدف این است که یک مدل زبانی بدون عبور از منوها، تبلیغ‌ها و کدهای صفحه، سریع بفهمد سایت دربارهٔ چیست و کجا باید دنبال چه چیزی بگردد.
این ایده را جرمی هاوارد در سوم سپتامبر ۲۰۲۴ پیشنهاد داد. توجه کنید که llms.txt یک استاندارد رسمی مثل robots.txt نیست؛ یک پیشنهاد است که هر سایتی می‌تواند به‌صورت داوطلبانه اجرا کند، و هیچ سازمان استانداردسازی آن را تصویب نکرده است.
۲برای چه کاری ساخته شد؟
انگیزهٔ اصلی پیشنهاد، مشکل «پنجرهٔ زمینه» بود: مدل‌های زبانی نمی‌توانند یک سایت کامل را هم‌زمان بخوانند و تبدیل صفحههای پر از html و جاوااسکریپت به متن تمیز کار دشواری است. فایلی که از قبل خلاصه و مرتب شده باشد این کار را آسان میکند.
در عمل بیشترین استفاده از این قالب در مستندات نرم‌افزار بوده است؛ جایی که یک ابزار برنامه‌نویسی هوشمند باید بداند کدام صفحهٔ مستندات به سؤال برنامه‌نویس مربوط است. پیشنهاد اصلی میگوید نسخهٔ Markdown هر صفحه هم می‌تواند با افزودن پسوند md به آدرس صفحه در دسترس باشد. یعنی کاربرد اصلی بیشتر «کمک به عامل‌های هوشمند هنگام خواندن مستندات» بوده تا بهینه‌سازی برای نتایج جستجو.
۳گوگل دربارهٔ llms.txt چه میگوید؟
پاسخ گوگل روشن است. در راهنمای رسمی بهینه‌سازی برای هوش مصنوعی مولد، گوگل میگوید جستجوی آن فایل llms.txt را نادیده میگیرد و ساختن آن نه به سایت شما کمک میکند و نه ضرر میزند. همان راهنما میگوید برای حضور در قابلیت‌های هوش مصنوعی جستجو لازم نیست فایل ماشین‌خوان، فایل متنی مخصوص هوش مصنوعی، نشانه‌گذاری یا Markdown جداگانه بسازید.
پس اگر شنیده‌اید که «با llms.txt در پاسخ‌های هوش مصنوعی گوگل دیده می‌شوید»، این ادعا با توضیح رسمی خود گوگل هم‌خوان نیست. برای ظاهرشدن در جستجوی گوگل همان اصول همیشگی کافی است: صفحه‌ای که قابل خزش و ایندکس باشد و محتوای مفید داشته باشد.
۴آیا ChatGPT و بقیهٔ ابزارها از آن استفاده می‌کنند؟
هیچ منبع رسمی که تأیید کند ابزارهای پاسخ‌گوی عمومی مثل ChatGPT این فایل را می‌خوانند و به آن وزن می‌دهند، پیدا نکردم. نکته‌ای که قابل ذکر است گفتهٔ جان مولر از گوگل در ژوئن ۲۰۲۵ است که طبق گزارش Search Engine Roundtable گفت هیچ سیستم هوش مصنوعی در حال حاضر از llms.txt استفاده نمیکند و لاگ سرورها نشان می‌دهد چت‌بات‌ها صفحه‌ها را درخواست می‌کنند، ولی به سراغ این فایل نمی‌روند.
این یک اظهار نظر تاریخ‌دار از یک نفر است، نه حکم همیشگی دربارهٔ همهٔ شرکت‌ها. ممکن است هر شرکتی بعداً پشتیبانی اضافه کند؛ فقط تا امروز سندی که چنین چیزی را برای موتورهای پاسخ‌گوی عمومی تأیید کند ندیدم، و نباید برای آن هزینهٔ زیادی کرد.
۵پس چرا خود OpenAI و Anthropic و گوگل چنین فایلی دارند؟
نمونه‌ای که اغلب مثال زده می‌شود این است که مستندات توسعه‌دهندگان این شرکت‌ها هر کدام یک فایل llms.txt دارند. این را می‌شود خودتان بررسی کرد: مثلاً صفحهٔ مستندات خزنده‌های OpenAI به فهرست کامل مستندات از طریق llms.txt ارجاع می‌دهد.
اما این دلیل نمی‌شود که سیستم‌های آنها هنگام پاسخ‌دادن این فایل را در سایت دیگران بخوانند. آنچه می‌بینیم «انتشار» فایل برای مستندات خودشان است، نه «مصرف» فایل سایت‌های دیگر. از نظر منطقی، شرکتی که ابزار برنامه‌نویسی هوشمند عرضه میکند طبیعی است مستنداتش را برای همان ابزارها آسان‌خوان کند، بدون اینکه این به معنای تأثیر روی نتایج جستجو یا پاسخ‌های عمومی باشد.
۶چه سایت‌هایی ممکن است واقعاً سود ببرند؟
بیشترین احتمال فایده برای سایت‌هایی است که مستندات فنی، راهنمای API یا آموزش نرم‌افزار دارند و کاربران یا برنامه‌نویسانشان از ابزارهای برنامه‌نویسی هوشمند استفاده می‌کنند. در این حالت یک فهرست مرتب می‌تواند به عامل‌هایی که مستندات را می‌خوانند کمک کند صفحهٔ درست را پیدا کنند.
برای یک فروشگاه اینترنتی، سایت شرکتی، کلینیک یا وبلاگ فارسی معمولی، شاهدی که نشان دهد این فایل ترافیک یا ارجاع از هوش مصنوعی می‌آورد در دست نیست. برای این سایت‌ها وقت بهتر صرف چیزهایی می‌شود که اثرشان تأیید شده است: سرعت، ساختار درست، لینک‌دهی داخلی و محتوای مفید.
۷اگر خواستید بسازید، چطور بنویسید؟
ساخت فایل ساده است. طبق پیشنهاد اصلی، یک فایل Markdown بسازید که با عنوان سایت شروع شود، یک توضیح کوتاه دربارهٔ سایت داشته باشد و بعد چند بخش با فهرست لینک‌ها و یک توضیح کوتاه برای هر لینک. فقط صفحههای مهم را بگذارید، نه کل سایت را؛ هدف خلاصه‌بودن است.
آن را در ریشهٔ دامنه قرار دهید و مطمئن شوید با پاسخ ۲۰۰ در دسترس است و لینک‌های داخلش کار می‌کنند. همچنین به یاد داشته باشید که این فایل جایگزین robots.txt یا نقشهٔ سایت نیست و دسترسی خزنده‌ها را کنترل نمیکند. اگر نمی‌خواهید بخشی از سایت خزیده شود، باید از robots.txt یا روشهای دیگر استفاده کنید.
۸چطور بفهمیم سایتمان این فایل را دارد؟
ساده‌ترین راه این است که آدرس example.com/llms.txt را در مرورگر باز کنید؛ اگر محتوای متنی دیدید فایل وجود دارد و اگر خطای ۴۰۴ گرفتید ندارید. برای سایتی که بسیار صفحه دارد، این بررسی دستی کافی است.
در بررسی خودکار هم باید معیار را درست بفهمید: موشکاف فقط وجود این فایل را گزارش میکند و نبودن آن را جریمه نمیکند، چون چنین چیزی طبق منابع رسمی عامل رتبه‌بندی نیست. پس اگر امتیاز سایتتان را دیدید، نبودن این فایل دلیل افت نیست.
برای دیدن وضعیت کلی سایت، از جمله وجود یا نبود این فایل، یک آنالیز سئو وب سایت می‌تواند همین موارد را رایگان و در چند ثانیه بررسی کند.
llms.txt ایدهٔ جالبی برای معرفی محتوای یک سایت به مدل‌ها و ابزارهای هوشمند است، ولی طبق راهنمای رسمی گوگل روی جستجو اثری ندارد و برای بیشتر سایت‌ها اولویت نیست. وقت خود را اول روی چیزهایی بگذارید که اثرشان تأیید شده است: صفحههای قابل خزش و ایندکس، محتوای مفید و ساختار روشن. اگر سایت مستندات فنی دارید، ساختن این فایل هزینهٔ کمی دارد و می‌توانید آن را امتحان کنید، اما انتظار جهش در رتبه یا حضور در پاسخ‌های هوش مصنوعی نداشته باشید.