آپدیت هسته گوگل و افت خزش سایت: مولر خطاهای سرور را مقصر می داند

یک بحث در انجمن ردیت (Reddit) در مورد کاهش شدید فعالیت خزشگر گوگل، پاسخی از طرف جان مولر (John Mueller) از گوگل را به همراه داشت. بسیاری از مدیران سایت ها با مشاهده چنین مشکلی، بلافاصله نگران ارتباط بین آپدیت هسته گوگل و افت خزش سایت خود می شوند و تصور می کنند که این افت به دلیل تغییرات در الگوریتم گوگل است. اما مولر توضیح می دهد که چگونه می توان دلیل اصلی این مشکل فنی را تشخیص داد.(چک‌ لیست سئو تکنیکال)
او اشاره می کند که کاهش های ناگهانی در فعالیت خزشگر گوگل (Googlebot) معمولا نشان دهنده خطاهای سمت سرور مانند کدهای وضعیت (Status Codes) 429، 500، 503 یا وقفه های زمانی (timeouts) هستند و کمتر به خطاهای 404 (صفحه پیدا نشد) ارتباط دارند.

چه اتفاقی افتاد؟

در بحث مطرح شده در ردیت، کاربری که موضوع را آغاز کرده بود گفت که درخواست های خزش (crawl requests) سایت او، طی 24 ساعت پس از قرار دادن آدرس های اینترنتی hreflang نادرست در هدر های HTTP، حدود 90 درصد کاهش یافته است.

بر اساس گزارش ها، زمانی که خزشگر گوگل (Googlebot) سعی در واکشی این آدرس های hreflang داشت، با خطای 404 مواجه می شد.

او نوشت:

«هفته گذشته، یک به‌روزرسانی در سایت به صورت تصادفی باعث اضافه شدن آدرس های hreflang شکسته در هدر های لینک HTTP در سراسر سایت شد:

• خزشگر گوگل بلافاصله آنها را خزش کرد ← همه آنها خطای قطعی 404 برگرداندند.
• ظرف 24 ساعت، درخواست های خزش حدود 90% کاهش یافت.
• تعداد صفحات ایندکس شده ثابت است، اما حجم خزش هنوز به حالت عادی بازنگشته است.»

پاسخ جان مولر چه بود؟

مولر این موضوع را زیر سوال برد که آیا خطاهای 404 به تنهایی می توانند باعث چنین افت سریعی در خزش شوند و به مشکلات سمت سرور به عنوان توضیحی محتمل تر اشاره کرد. بهبود تجربه کاربری (User Experience) و رفع این خطاها برای حفظ رتبه بندی سایت حیاتی است.

مولر نوشت:

«من تنها در صورتی انتظار دارم که نرخ خزش به این سرعت واکنش نشان دهد که سرور در حال برگرداندن خطاهای 429 / 500 / 503 / یا وقفه های زمانی (timeouts) باشد. بنابراین من دوباره بررسی می کردم که واقعا چه اتفاقی افتاده است (خطاهای 404 به طور کلی مشکلی ایجاد نمی کنند و به محض کشف، خزشگر گوگل به هر حال دوباره آنها را امتحان خواهد کرد). برای مثال، اگر یک شبکه توزیع محتوا (CDN) در واقع خزشگر گوگل را مسدود کرده باشد، باید اطمینان حاصل کنید که آن مشکل نیز حل شده است. به محض اینکه اوضاع در سرور آرام شود، نرخ خزش به طور خودکار به حالت عادی باز خواهد گشت. (هیچ زمان مشخصی برای این موضوع وجود ندارد، و به طور منطقی – که نمی دانم در این مورد صدق می کند یا نه – کاهش سریع نرخ خزش برای حل یک مشکل فوری منطقی است، و افزایش محتاطانه نرخ خزش نیز منطقی به نظر می رسد).»

این توضیحات با راهنمای مستند گوگل در مورد مدیریت خزش (crawl management) همخوانی دارد. گاهی اوقات این مشکلات فنی با زمان یک آپدیت هسته گوگل و افت خزش سایت همزمان می شوند و باعث سردرگمی مدیران سایت می گردند.

اگر نیاز دارید که خزش سایت را برای مدت کوتاهی محدود کنید، گوگل توصیه می کند که پاسخ های 500، 503 یا 429 را برگردانید. خطاهای 403/404 برای این منظور در لیست توصیه ها قرار ندارند. برای اطلاعات بیشتر، راهنمای گوگل در مورد کاهش نرخ خزش را ببینید.

گام های بعدی

هنگامی که درخواست های خزش به طور ناگهانی کاهش می یابد، بررسی کنید که سرورها و شبکه توزیع محتوای (CDN) شما در آن بازه زمانی چه پاسخی را به خزشگر گوگل برگردانده اند:

• گزارش های سرور (logs) و گزارش آمار خزش (Crawl Stats) در سرچ کنسول را برای پیدا کردن افزایش ناگهانی در خطاهای 429/500/503 یا وقفه های زمانی بررسی کنید.
• تایید کنید که یک شبکه توزیع محتوا (CDN)، فایروال برنامه وب (WAF)، یا یک محدود کننده نرخ درخواست (rate limiter)، دسترسی خزشگر گوگل را مسدود نکرده باشد. تقویت زیرساخت ها و استفاده از لینک سازی خارجی اصولی می تواند به بهبود کلی وضعیت سایت کمک کند.
• تایید کنید که خطاهای 404 گزارش شده، سیگنال اصلی مشکل هستند و صرفا یک رویداد تصادفی همزمان نبوده اند.

به یاد داشته باشید که بازیابی نرخ خزش فوری نیست. مولر اشاره کرد که نرخ خزش پس از حل مشکلات سمت سرور به طور خودکار به حالت عادی باز می گردد، اما هیچ جدول زمانی ثابتی برای آن وجود ندارد. داشتن یک پروفایل بک لینک سالم و محتوای با کیفیت می تواند به تسریع این فرآیند کمک کند.

منبع : Googlebot Crawl Slump? Mueller Points To Server Errors