فایل LLMs.txt برای سئو هوش مصنوعی: یک مزیت یا اتلاف وقت؟

آیا بحث پیرامون فایل LLMs.txt به یک حلقه تکراری از سوء تفاهم تبدیل شده است و این موضوع چه معنایی برای دیده شدن در هوش مصنوعی (AI visibility) دارد؟

بسیاری از پلاگین های محبوب سئو وردپرس (WordPress SEO plugins) و پلتفرم های مدیریت محتوا (content management platforms) قابلیت ایجاد فایل LLMs.txt را با هدف بهبود دیده شدن در پلتفرم های جستجوی هوش مصنوعی (AI search platforms) ارائه می‌دهند. با توجه به اینکه بسیاری از پلاگین های محبوب سئو و پلتفرم های CMS این قابلیت را ارائه می‌کنند، ممکن است این تصور ایجاد شود که این مرز جدیدی در بهینه سازی برای موتورهای جستجو یا همان سئو است. با این حال، واقعیت این است که LLMs.txt فقط یک پیشنهاد است و هیچ پلتفرم هوش مصنوعی (AI platform) استفاده از آن را تایید نکرده است.

پس چرا این همه شرکت برای پشتیبانی از استانداردی که در واقع هیچکس از آن استفاده نمی‌کند، عجله دارند؟ برخی از ابزارهای سئو آن را ارائه می‌دهند زیرا کاربرانشان آن را درخواست کرده‌اند، در حالی که بسیاری از کاربران احساس می‌کنند باید از LLMs.txt استفاده کنند، صرفاً به این دلیل که ابزارهای مورد علاقه شان آن را فراهم کرده‌اند. بحثی که اخیراً در شبکه اجتماعی ردیت (Reddit) در مورد همین موضوع شکل گرفته است، مکان خوبی برای جستجوی پاسخ هاست.

ابزارهای سئو شخص ثالث و فایل LLMs.txt

جان مولر (John Mueller) از گوگل در یک بحث اخیر در ردیت (Reddit) به سردرگمی در مورد فایل LLMs.txt پرداخت. شخصی که سوال را پرسیده بود نگران بود زیرا یک ابزار سئو، این فایل را به عنوان یک خطای ۴۰۴ (404, missing) پرچم گذاری کرده بود. کاربر اینطور برداشت کرده بود که ابزار به طور ضمنی وجود آن را ضروری می‌داند.

سوال او این بود:

«چرا سمراش (SEMRush) نشان می‌دهد که /llm.txt یک خطای ۴۰۴ است؟ بله، من می‌دانم که برای وبسایت یکی از آنها را ندارم، اما، شنیده‌ام که بی فایده و غیر ضروری است. آیا این درست است؟

اگر به آن نیاز دارم، چگونه آن را بسازم؟

ممنون»

به نظر می‌رسد این کاربر ردیت با گزارش آنالیز سئو سمراش که ظاهراً به این نکته اشاره دارد که آنها به یک فایل LLMs.txt نیاز دارند، گیج شده است. من نمی‌دانم آنها در گزارش چه چیزی دیده‌اند اما این چیزی است که مستندات رسمی گزارش سمراش در مورد سودمندی LLMs.txt به اشتراک می‌گذارد:

«اگر سایت شما فاقد یک فایل llms.txt واضح باشد، با خطر نمایش نادرست توسط سیستم های هوش مصنوعی روبرو می‌شود.

…این بررسی جدید به شما این امکان را می‌دهد که به سرعت هر گونه مشکلی را که ممکن است دیده شدن شما را در نتایج جستجوی هوش مصنوعی محدود کند، شناسایی کنید.»

مستندات آنها می‌گوید که نداشتن یک فایل LLMs.txt یک «ریسک» است اما واقعیت این است که مطلقاً هیچ ریسکی وجود ندارد زیرا هیچ پلتفرم هوش مصنوعی از آن استفاده نمی‌کند. و شاید به همین دلیل بود که آن کاربر ردیت این سوال را می‌پرسید: «اگر به آن نیاز دارم، چگونه آن را بسازم؟». این نگرانی‌ها نشان می‌دهد که چگونه یک ابزار سئو می‌تواند با ارائه یک ویژگی که هنوز به صورت عملی کاربردی نشده است، بر تصمیمات مشاوره سئو و استراتژی های یک وبمستر تاثیر بگذارد.

فایل LLMs.txt غیر ضروری است

جان مولر (John Mueller) از گوگل تایید کرد که فایل LLMs.txt غیر ضروری است.

او توضیح داد:

«نکته خوبی است! به خصوص در حوزه سئو، مهم است که اطلاعات گمراه کننده و بد را زود تشخیص دهید، قبل از اینکه برای انجام کاری غیر ضروری زمان صرف کنید. همه چیز را زیر سوال ببرید.»

چرا پلتفرم های هوش مصنوعی ممکن است استفاده از فایل LLMs.txt را انتخاب نکنند

جدا از اظهارات غیر رسمی متعدد جان مولر در مورد بی فایده بودن فایل LLMs.txt، من فکر نمی‌کنم هیچ بیانیه رسمی از سوی پلتفرم های هوش مصنوعی در مورد اینکه چرا از LLMs.txt و فایل های مارک داون (.md) مرتبط با آن استفاده نمی‌کنند، وجود داشته باشد. با این حال، دلایل خوب زیادی وجود دارد که چرا یک پلتفرم هوش مصنوعی تصمیم می‌گیرد از آن استفاده نکند.

بزرگترین دلیل برای عدم استفاده از LLMs.txt این است که ذاتاً غیر قابل اعتماد (untrustworthy) است. محتوای درون صفحه (On-page content) نسبتاً قابل اعتماد است زیرا چیزی که برای کاربران نمایش داده می‌شود همان چیزی است که برای ربات هوش مصنوعی (AI bot) نیز در دسترس است. این یکی از اصول اولیه در سئو تکنیکال است که محتوای ارائه شده به کاربر و ربات موتور جستجو باید یکسان باشد.

یک متخصص سئوی حیله‌گر می‌تواند چیزهایی را به داده های ساختار یافته (structured data) و فایل های متنی مارک داون اضافه کند که در محتوای HTML معمولی وجود ندارند تا محتوای خود را برای رتبه بندی بهتر دستکاری کند. این ساده لوحانه است که فکر کنیم یک متخصص سئو یا ناشر از فایل های .md برای فریب دادن پلتفرم های هوش مصنوعی استفاده نخواهد کرد.

به عنوان مثال، برخی متخصصان سئوی نادرست، متن های پنهان (hidden text) و دستورات هوش مصنوعی (AI prompts) را در داخل محتوای HTML اضافه می‌کنند. یک مقاله تحقیقاتی از سال ۲۰۲۴ (تحت عنوان بهینه سازی موتور جستجوی متخاصم برای مدل های زبان بزرگ) نشان داد که دستکاری مدل های زبان بزرگ (LLMs) با استفاده از تکنیکی که آنها حملات دستکاری ترجیحات (Preference Manipulation Attacks) نامیدند، امکان پذیر است.

در اینجا نقل قولی از آن مقاله تحقیقاتی (فایل PDF) آمده است:

«…یک مهاجم می‌تواند یک مدل زبان بزرگ (LLM) را فریب دهد تا محتوای خود را نسبت به رقبا تبلیغ کند. حملات دستکاری ترجیحات یک تهدید جدید است که عناصری از حملات تزریق پرامپت (prompt injection attacks)… بهینه سازی برای موتورهای جستجو (SEO)… و «متقاعد سازی» مدل زبان بزرگ را ترکیب می‌کند.

ما اثربخشی حملات دستکاری ترجیحات را بر روی موتورهای جستجوی LLM تولیدی (بینگ و پرپلکسیتی) و API های پلاگین (برای GPT-4 و Claude) نشان می‌دهیم. حملات ما به صورت جعبه سیاه (black-box)، پنهان کارانه و به طور قابل اعتمادی مدل زبان بزرگ را برای تبلیغ محتوay مهاجم دستکاری می‌کنند. به عنوان مثال، هنگامی که از بینگ خواسته می‌شود دوربینی را برای توصیه جستجو کند، یک حمله دستکاری ترجیحات باعث می‌شود که دوربین مورد نظر ۲.۵ برابر بیشتر توسط LLM توصیه شود.»

نکته این است که اگر راه گریزی برای سوء استفاده وجود داشته باشد، کسی پیدا می‌شود که فکر کند بهره برداری از آن ایده خوبی است، و این مشکل ایجاد یک فایل جداگانه برای چت بات های هوش مصنوعی است: مردم آن را به عنوان مکان ایده آلی برای اسپم کردن مدل های زبان بزرگ (LLMs) خواهند دید. این روش‌ها به عنوان سئو کلاه سیاه شناخته می‌شوند و می‌توانند منجر به جریمه شدن سایت شوند.

تکیه بر محتوای درون صفحه بسیار امن تر از تکیه بر یک فایل مارک داون است که می‌تواند منحصراً برای هوش مصنوعی تغییر داده شود. به همین دلیل است که من می‌گویم فایل LLMs.txt ذاتاً غیر قابل اعتماد است.

پلاگین های سئو در مورد فایل LLMs.txt چه می‌گویند

سازندگان پلاگین سئو وردپرس Squirrly اذعان می‌کنند که این ویژگی را فقط به این دلیل ارائه کرده‌اند که کاربرانشان آن را درخواست کرده بودند و تاکید می‌کنند که این فایل هیچ تاثیری بر دیده شدن در جستجوی هوش مصنوعی ندارد. این رویکرد شفاف، بخشی از آموزش سئو صحیح به کاربران است.

آنها می‌نویسند:

«من می‌دانم که بسیاری از شما عاشق استفاده از Squirrly SEO هستید و می‌خواهید به استفاده از آن ادامه دهید. به همین دلیل از ما خواسته‌اید که این ویژگی را اضافه کنیم.

بنابراین ما آن را آوردیم.

اما، چون من به شما اهمیت می‌دهم:

• بدانید که LLMs txt به شما کمک نخواهد کرد که به طور جادویی در جستجوی هوش مصنوعی ظاهر شوید. در حال حاضر هیچ مدرکی مبنی بر اینکه این فایل به تبلیغ شدن توسط موتورهای جستجوی هوش مصنوعی کمک می‌کند، وجود ندارد.»

آنها تعادل خوبی بین دادن چیزی که کاربران می‌خواهند و در عین حال آگاه کردن آنها از اینکه واقعاً نیازی به آن نیست، برقرار می‌کنند.

در حالی که Squirrly در یک سو قرار دارد و (به درستی) می‌گوید که فایل LLMs.txt باعث افزایش دیده شدن در جستجوی هوش مصنوعی نمی‌شود، رنک مث (Rank Math) در سوی دیگر قرار گرفته و می‌گوید که چت بات های هوش مصنوعی در واقع از نسخه مدیریت شده محتوا که در فایل های مارک داون ارائه شده است، استفاده می‌کنند.

رنک مث به طور کلی در توصیف چیستی فایل LLMs.txt و نحوه عملکرد آن درست عمل می‌کند، اما با این ادعا که چت بات های هوش مصنوعی از فایل LLMs.txt مدیریت شده و فایل های مارک داون مرتبط با آن استفاده می‌کنند، در مورد سودمندی آن اغراق می‌کند.

آنها می‌نویسند:

«بنابراین وقتی یک چت بات هوش مصنوعی سعی می‌کند بر اساس سایت شما خلاصه‌سازی کند یا به سوالات پاسخ دهد، حدس نمی‌زند — به نسخه مدیریت شده‌ای که شما به آن داده‌اید مراجعه می‌کند. این شانس شما را برای استناد صحیح، نمایش دقیق و کشف شدن توسط کاربران در نتایج مبتنی بر هوش مصنوعی افزایش می‌دهد.»

ما به طور قطع می‌دانیم که چت بات های هوش مصنوعی از نسخه مدیریت شده محتوا استفاده نمی‌کنند. آنها حتی از داده های ساختار یافته (structured data) هم استفاده نمی‌کنند؛ آنها فقط از محتوای HTML معمولی استفاده می‌کنند. نداشتن درک صحیح از این موضوع می‌تواند به استراتژی‌های اشتباه در خرید رپورتاژ آگهی یا تولید محتوا منجر شود.

پلاگین یوست سئو (Yoast SEO) کمی محتاطانه تر عمل می‌کند و موضعی میانه بین Squirrly و رنک مث اتخاذ کرده است. این پلاگین هدف فایل LLMs.txt را توضیح می‌دهد اما با استفاده از کلماتی مانند «می‌تواند» و «ممکن است»، در مورد مزایای آن اغراق نمی‌کند. این روش منصفانه‌ای برای توصیف LLMs.txt است، اگرچه من رویکرد Squirrly را دوست دارم که می‌گوید: شما آن را خواستید، این هم از آن، اما انتظار افزایش عملکرد در جستجو را نداشته باشید.

حلقه اطلاعات نادرست فایل LLMs.txt

بحث پیرامون فایل LLMs.txt به یک حلقه خود تقویت کننده (self-reinforcing loop) تبدیل شده است: صاحبان کسب و کار و متخصصان سئو در مورد دیده شدن در هوش مصنوعی احساس اضطراب می‌کنند و حس می‌کنند باید کاری انجام دهند و به LLMs.txt به عنوان همان کاری که می‌توانند انجام دهند، نگاه می‌کنند.

ارائه دهندگان ابزارهای سئو مجبور به ارائه گزینه فایل LLMs.txt می‌شوند که این خود، این باور را که وجود آن یک ضرورت است، تقویت می‌کند و ناخواسته چرخه سوء تفاهم را تداوم می‌بخشد.

نگرانی در مورد دیده شدن در هوش مصنوعی منجر به پذیرش فایل LLMs.txt شده است که در این مرحله فقط یک پیشنهاد برای استانداردی است که در حال حاضر هیچ پلتفرم هوش مصنوعی از آن استفاده نمی‌کند. بنابراین، تمرکز بر خدمات سئو بنیادی مانند تولید محتوای با کیفیت و خرید بک لینک معتبر، همچنان بهترین استراتژی برای موفقیت بلند مدت است.

ترجمه : LLMs.txt For AI SEO: Is It A Boost Or A Waste Of Time?