فهرست مطالب
گوگل مقاله‌ای منتشر کرده که در ان تاثیر CDN بر خزش و سئو چیست را به صورت کامل توضیح می‌دهد ، سئو را بهبود می‌بخشند و در عین حال ممکن است گاهی مشکلاتی ایجاد کنند.
CDN چیست؟
شبکه تحویل محتوا (CDN) یک سرویس است که صفحات وب را کش می‌کند و آن‌ها را از دیتاسنتری که به مرورگر درخواست‌دهنده نزدیک‌تر است، نمایش می‌دهد. کش کردن صفحه وب به این معناست که CDN نسخه‌ای از صفحه وب را ایجاد و ذخیره می‌کند. این فرآیند سرعت بارگذاری صفحات وب را افزایش می‌دهد زیرا صفحه از سروری که به بازدیدکننده سایت نزدیک‌تر است ارائه می‌شود و نیاز به انجام “پرش‌های” کمتر در اینترنت از سرور اصلی تا مقصد (مرورگر بازدیدکننده سایت) دارد.
مزایای CDN در افزایش خزش
یکی از مزایای استفاده از شبکه تحویل محتوا (CDN) این است که گوگل به‌طور خودکار نرخ خزش را افزایش می‌دهد زمانی که تشخیص دهد صفحات وب از یک CDN ارائه می‌شوند. این ویژگی برای متخصصان سئو و ناشرانی که به دنبال افزایش تعداد صفحاتی هستند که توسط Googlebot خزش می‌شوند، جذاب است.
به‌طور معمول، اگر Googlebot متوجه شود که خزش بیش از حد باعث کاهش سرعت سرور می‌شود، نرخ خزش را کاهش می‌دهد؛ این فرآیند به “throttling” یا محدودسازی شناخته می‌شود. اما زمانی که گوگل تشخیص دهد سایت از یک CDN استفاده می‌کند، آستانه محدودسازی بالاتر می‌رود و تعداد صفحات بیشتری خزش می‌شوند.
توجه به خزش اولیه در CDNها
یکی از نکاتی که باید درباره استفاده از CDN بدانید این است که در اولین دسترسی به یک URL، صفحه باید مستقیماً از سرور اصلی شما ارائه شود. گوگل در این زمینه مثالی از سایتی با بیش از یک میلیون صفحه وب ارائه می‌دهد:
“در اولین دسترسی به یک URL، کش CDN “سرد” است. یعنی از آنجا که هنوز کسی آن URL را درخواست نکرده، محتوای آن در CDN ذخیره نشده است. بنابراین سرور اصلی شما باید حداقل یک بار آن URL را ارائه کند تا کش CDN “گرم” شود. این مشابه نحوه عملکرد کش HTTP نیز هست.
به زبان ساده، حتی اگر فروشگاه آنلاین شما از یک CDN پشتیبانی شود، سرور شما باید حداقل یک بار این 1,000,007 URL را ارائه کند. تنها پس از این مرحله اولیه، CDN می‌تواند با استفاده از کش‌های خود به شما کمک کند. این کار فشار زیادی به “بودجه خزش” شما وارد می‌کند و نرخ خزش برای چند روز احتمالاً بالا خواهد بود؛ این نکته را در نظر داشته باشید اگر قصد دارید تعداد زیادی URL را به‌صورت همزمان راه‌اندازی کنید.”
وقتی استفاده از CDNها باعث مشکلات خزش می‌شود
گوگل هشدار می‌دهد که گاهی اوقات CDN ممکن است Googlebot را در لیست سیاه قرار داده و مانع از خزش شود. این مشکل به دو نوع مسدودسازی تقسیم می‌شود:
- مسدودسازی سخت (Hard Blocks)
- مسدودسازی نرم (Soft Blocks)
مسدودسازی سخت
مسدودسازی سخت زمانی اتفاق می‌افتد که CDN با یک خطای سرور پاسخ دهد. خطاهای بد سرور شامل موارد زیر هستند:
- 500 (خطای داخلی سرور): نشان‌دهنده مشکلی جدی در سرور است.
- 502 (درگاه نامعتبر): خطایی که ممکن است به دلیل مشکلات ارتباط بین سرور و CDN رخ دهد.
این خطاها باعث می‌شوند که Googlebot نرخ خزش را کاهش دهد. اگر این خطاها به‌طور مداوم تکرار شوند، گوگل ممکن است URLهای مربوطه را از ایندکس جستجوی خود حذف کند.
پاسخ مناسب:
در صورت بروز خطا، بهتر است سرور با کد 503 (سرویس در دسترس نیست) پاسخ دهد. این کد نشان‌دهنده یک خطای موقتی است و از حذف URLها از ایندکس جلوگیری می‌کند.
خطای دیگر:
یکی دیگر از مشکلات سخت، خطاهای تصادفی است. این خطا زمانی رخ می‌دهد که سرور کد 200 (پاسخ موفق) ارسال کند، اما در واقع یک صفحه خطا را ارائه دهد. گوگل این صفحات خطا را به‌عنوان محتوای تکراری تفسیر کرده و آن‌ها را از ایندکس حذف می‌کند. رفع این مشکل زمان‌بر بوده و تأثیر منفی روی سئو خواهد داشت.
مسدودسازی نرم
مسدودسازی نرم زمانی اتفاق می‌افتد که CDN پنجره‌ای مانند “آیا شما انسان هستید؟” به Googlebot نمایش دهد. این صفحات باید با کد 503 پاسخ دهند تا گوگل متوجه شود که این یک مشکل موقتی است.
گوگل در این باره توضیح می‌دهد:
“…وقتی این صفحه‌های تأیید ربات نمایش داده می‌شوند، تنها چیزی که Googlebot می‌بیند همین صفحات است، نه سایت شما. در این موارد، اکیداً توصیه می‌کنیم کد وضعیت 503 HTTP ارسال کنید تا گوگل متوجه شود محتوا به‌طور موقت در دسترس نیست. این کار تضمین می‌کند که محتوای شما به‌طور خودکار از ایندکس گوگل حذف نشود.”
رفع مشکلات خزش با ابزار بررسی URL و کنترل‌های WAF
گوگل توصیه می‌کند از ابزار URL Inspection Tool در سرچ کنسول استفاده کنید تا بررسی کنید CDN چگونه صفحات وب شما را ارائه می‌دهد. اگر فایروال CDN که با نام Web Application Firewall (WAF) شناخته می‌شود، Googlebot را بر اساس آدرس IP مسدود کرده باشد، می‌توانید آدرس‌های IP مسدودشده را بررسی کرده و با لیست رسمی آدرس‌های IP گوگل مقایسه کنید تا مطمئن شوید آیا یکی از آن‌ها در لیست قرار دارد یا خیر.
توصیه‌های گوگل برای رفع مشکلات در سطح CDN:
گوگل نکات زیر را ارائه می‌دهد:
“اگر می‌خواهید سایت شما در موتورهای جستجو ظاهر شود، اکیداً توصیه می‌کنیم بررسی کنید که آیا کراولرهایی که برای شما اهمیت دارند می‌توانند به سایت دسترسی داشته باشند یا خیر. به یاد داشته باشید که ممکن است آدرس‌های IP به‌طور خودکار در لیست مسدودکننده قرار بگیرند، بدون این که شما متوجه شوید. بنابراین بررسی دوره‌ای این لیست‌ها ایده خوبی برای موفقیت سایت شما در جستجو و فراتر از آن است.
اگر لیست مسدودکننده خیلی طولانی است (مشابه این پست)، می‌توانید به جای بررسی کامل آدرس IP مانند 192.168.0.101، فقط چند بخش ابتدایی از محدوده IPها را جستجو کنید، مثلاً 192.168.”
