کلودفلر (Cloudflare) اعلام کرد که به دلیل رفتار فریبکارانه در خزش (crawling)، بات‌های Perplexity را بلاک کرده است. این رفتار شامل تغییر مداوم آدرس‌های آی‌پی (IP addresses) و نادیده گرفتن دستورالعمل‌های فایل robots.txt میشود. بلاک شدن Perplexity یک اتفاق مهم در دنیای وب محسوب میشود که نشان دهنده اهمیت رعایت قوانین خزش است.
کلودفلر در اطلاعیه‌ای رسمی اعلام کرد که خزنده (crawler) پلتفرم Perplexity را از لیست بات‌های تایید شده (verified bot) خود حذف کرده و اکنون به صورت فعال، دسترسی Perplexity و تمام بات‌های مخفی (stealth bots) آن را به وبسایت‌ها مسدود میکند. این اقدام کلودفلر در پاسخ به شکایات متعدد کاربران علیه Perplexity صورت گرفت که مربوط به نقض پروتکل‌های فایل robots.txt بود. تحقیقات بعدی نشان داد که Perplexity از تاکتیک‌های تهاجمی و سرکشانه بات‌ها (aggressive rogue bot tactics) استفاده می‌کرد تا خزنده‌های خود را به زور وارد وبسایت‌ها کند. این موضوع اهمیت لینک سازی خارجی و کنترل بات‌های ورودی به سایت را دوچندان میکند.
برنامه بات‌های تایید شده کلودفلر (Cloudflare Verified Bots Program)
کلودفلر سیستمی به نام بات‌های تایید شده (Verified Bots) دارد که بات‌های معتبر را در لیست سفید (whitelist) خود قرار می‌دهد و به آنها اجازه می‌دهد تا وبسایت‌های محافظت شده توسط کلودفلر را خزش کنند. بات‌های تایید شده برای حفظ جایگاه ممتاز خود در سیستم کلودفلر، باید از سیاست‌های خاصی مانند پیروی از پروتکل‌های robots.txt تبعیت کنند.
مشخص شد که Perplexity در حال نقض الزامات کلودفلر بوده است؛ الزاماتی که بات‌ها را ملزم به رعایت پروتکل robots.txt و خودداری از استفاده از آدرس‌های آی‌پی که به عنوان متعلق به سرویس خزش اعلام نشده‌اند، میکند. این نقض قوانین، دلیل اصلی بلاک شدن Perplexity و از دست دادن این جایگاه بود.
اتهام کلودفلر به Perplexity: استفاده از خزش پنهانی (Stealth Crawling)
کلودفلر فعالیت‌های مختلفی را مشاهده کرد که نشان‌دهنده خزش بسیار تهاجمی (highly aggressive crawling) با هدف دور زدن پروتکل robots.txt بود. درک رفتار خزنده‌ها برای آنالیز رقبا در لینک سازی و محافظت از منابع سرور بسیار حیاتی است.
رفتار خزش پنهانی: چرخشی کردن آدرس‌های آی‌پی (Rotating IP Addresses)
پلتفرم Perplexity با استفاده از آدرس‌های آی‌پی چرخشی (rotating IP addresses)، تغییر دادن شماره سیستم خودگردان یا ASN ها، و جعل هویت مرورگرهایی مانند کروم (Chrome)، مسدودیت‌ها را دور می‌زند.
Perplexity لیستی از آدرس‌های آی‌پی رسمی (official IP addresses) دارد که از یک شماره سیستم خودگردان (ASN – Autonomous System Number) مشخص، عملیات خزش را انجام می‌دهند. این آدرس‌های آی‌پی به شناسایی خزنده‌های قانونی Perplexity کمک می‌کنند.
یک ASN بخشی از سیستم شبکه‌بندی اینترنت است که یک شماره شناسایی منحصر به فرد برای گروهی از آدرس‌های آی‌پی فراهم میکند. به عنوان مثال، کاربرانی که از طریق یک سرویس‌دهنده اینترنت (ISP) به اینترنت دسترسی پیدا می‌کنند، این کار را با یک آدرس آی‌پی خاص که به یک ASN اختصاص یافته به آن ISP تعلق دارد، انجام می‌دهند.
هنگامی که Perplexity مسدود میشد، تلاش می‌کرد با تغییر به آدرس‌های آی‌پی متفاوت که به عنوان آی‌پی‌های رسمی Perplexity لیست نشده بودند، این محدودیت را دور بزند. این آدرس‌ها حتی شامل مواردی میشد که به یک ASN کاملا متفاوت تعلق داشتند. این نوع رفتار تهاجمی میتواند تاثیر منفی بر سئو تکنیکال یک وبسایت بگذارد.
رفتار خزش پنهانی: جعل هویت عامل کاربر (Spoofed User Agent)
رفتار زیرکانه دیگری که کلودفلر شناسایی کرد این بود که Perplexity عامل کاربر (user agent) خود را تغییر می‌داد تا تلاش‌ها برای مسدود کردن خزنده‌اش از طریق فایل robots.txt را دور بزند.
برای مثال، بات‌های Perplexity با عامل‌های کاربری زیر شناسایی می‌شوند:
PerplexityBotPerplexity-User
کلودفلر مشاهده کرد که Perplexity در پاسخ به مسدودیت‌های اعمال شده بر روی عامل کاربر، با استفاده از یک عامل کاربر متفاوت که خود را به جای یک شخص در حال خزش با مرورگر کروم ۱۲۴ روی سیستم مک جا میزد، واکنش نشان می‌داد. این عمل، جعل هویت (spoofing) نامیده میشود؛ جایی که یک خزنده سرکش خود را به عنوان یک مرورگر قانونی معرفی میکند. این رفتارها میتواند سئو خارجی سایت را تحت تاثیر قرار دهد.
طبق گفته کلودفلر، Perplexity از عامل کاربر پنهانی زیر استفاده کرده است:
“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36”
کلودفلر Perplexity را از لیست خود حذف کرد
کلودفلر اعلام کرد که Perplexity از لیست بات‌های تایید شده حذف شده و مسدود خواهد شد:
«اینترنتی که در سه دهه گذشته می‌شناختیم به سرعت در حال تغییر است، اما یک چیز ثابت باقی مانده است: اینترنت بر پایه اعتماد ساخته شده است. ترجیحات روشنی وجود دارد که خزنده‌ها باید شفاف باشند، هدف مشخصی را دنبال کنند، فعالیت خاصی را انجام دهند و مهم‌تر از همه، از دستورالعمل‌ها و ترجیحات وبسایت‌ها پیروی کنند. بر اساس رفتار مشاهده شده از Perplexity، که با این ترجیحات ناسازگار است، ما آنها را از لیست بات‌های تایید شده حذف کرده‌ایم و اکتشافاتی (heuristics) را به قوانین مدیریت شده خود اضافه کرده‌ایم که این خزش پنهانی را مسدود میکند.»
نکات کلیدی
- نقض سیاست بات‌های تایید شده کلودفلر: Perplexity سیاست بات‌های تایید شده (Verified Bots) کلودفلر را نقض کرد؛ سیاستی که به بات‌های قابل اعتمادی که از قوانین معقولی مانند احترام به پروتکل
robots.txtپیروی می‌کنند، اجازه خزش می‌دهد. - استفاده از تاکتیک‌های خزش پنهانی: Perplexity از آدرس‌های آی‌پی اعلام نشده از ASN های مختلف و عامل‌های کاربری جعل شده برای خزش محتوا پس از مسدود شدن دسترسی‌اش استفاده کرد.
- جعل هویت عامل کاربر: Perplexity با جا زدن خود به عنوان مرورگر کروم در سیستم عامل مک، بات خود را به عنوان یک کاربر انسانی پنهان کرد تا فیلترهایی که خزنده‌های شناخته شده را مسدود می‌کنند، دور بزند.
- پاسخ کلودفلر: کلودفلر Perplexity را از لیست بات‌های تایید شده حذف کرد و قوانین مسدودسازی جدیدی را برای جلوگیری از خزش پنهانی آن پیاده‌سازی کرد.
- پیامدهای سئو: کاربرانی از کلودفلر که می‌خواهند به Perplexity اجازه خزش سایتشان را بدهند، بهتر است بررسی کنند که آیا کلودفلر خزنده‌های Perplexity را مسدود میکند یا خیر و در صورت لزوم، از طریق داشبورد کلودفلر خود، خزش را فعال کنند. این موضوع بر استراتژی لینک سازی و نحوه تعامل با بات‌های هوش مصنوعی تاثیرگذار است.
در نهایت، بلاک شدن Perplexity پس از کشف این موضوع صورت گرفت که این پلتفرم به طور مکرر با نادیده گرفتن robots.txt، سیاست‌های بات‌های تایید شده را نقض کرده است. Perplexity برای فرار از شناسایی، آدرس‌های آی‌پی را چرخشی کرده، ASN ها را تغییر داده و عامل کاربر خود را جعل کرده تا شبیه یک مرورگر انسانی به نظر برسد. تصمیم کلودفلر برای مسدود کردن این بات، پاسخی قاطع به رفتار تهاجمی بات از سوی Perplexity است.
به‌روزرسانی:
Perplexity با انتشار یک بیانیه، ادعا کرد که کلودفلر دستیارهای هوش مصنوعی (AI Assistants) این شرکت را به اشتباه معرفی میکند. آنها ادعا می‌کنند که درخواست‌های آغاز شده توسط کاربر برای دریافت داده از طریق دستیارهای هوش مصنوعی، با خزنده‌های وب (web crawlers) یکسان نیست.
«وقتی شرکت‌هایی مانند کلودفلر دستیارهای هوش مصنوعی کاربرمحور را به عنوان بات‌های مخرب معرفی می‌کنند، در واقع استدلال می‌کنند که هر ابزار خودکاری که به کاربران خدمت میکند باید مشکوک تلقی شود—موقعیتی که کلاینت‌های ایمیل و مرورگرهای وب یا هر سرویس دیگری را که یک دروازه‌بان احتمالی دوست ندارد، مجرمانه جلوه می‌دهد.
این جنجال نشان می‌دهد که سیستم‌های کلودفلر برای تمایز قائل شدن بین دستیارهای هوش مصنوعی قانونی و تهدیدات واقعی، اساساً ناکافی هستند. اگر شما نمی‌توانید یک دستیار دیجیتال مفید را از یک اسکرپر (scraper) مخرب تشخیص دهید، پس احتمالاً نباید در مورد اینکه چه چیزی ترافیک وب (web traffic) قانونی محسوب میشود، تصمیم‌گیری کنید.»
منبع : Cloudflare Delists And Blocks Perplexity From Crawling Websites
من، جعفر جلالی، سایت ایران بک لینک را راه‌اندازی کردم. با تکیه بر تجربیاتی که طی سال‌ها در کسب‌وکارهای آنلاین به دست آورده‌ام و همچنین استفاده از منابع اصلی و معتبر انگلیسی، تلاش کردم بهترین مقالات و منابع آموزشی در زمینه سئو را به زبان فارسی گردآوری کنم. هدف من از ایجاد ایران بک لینک این است که به کسب‌وکارهای آنلاین کمک کنم تا با دسترسی به اطلاعات کاربردی و جامع، به موفقیت بیشتری دست پیدا کنند. امیدوارم که ایران بک لینک بتواند به منبعی قابل‌اعتماد برای شما تبدیل شود.