گوگل به‌تازگی تأیید کرده که بیشتر وب‌سایت‌ها لازم نیست نگران بودجه خزش (Crawl Budget) باشند؛ مگر اینکه تعداد صفحات سایت‌شان از یک میلیون بیشتر باشد. اما نکته مهم‌تری در این ماجرا هست.
«گری ایلیز» از تیم ارتباطات جستجوی گوگل در یک پادکست اعلام کرد که سرعت دیتابیس سایت تأثیر بیشتری روی عملکرد خزش و ایندکس صفحات دارد تا صرفا تعداد صفحات موجود.
این نکته تازه درست پنج سال بعد از آن منتشر می‌شود که گوگل برای اولین‌بار درباره بودجه خزش توضیحاتی داده بود. با وجود پیشرفت‌های قابل توجه در فناوری وب، گوگل هنوز هم معتقد است که سرعت دیتابیس و بودجه خزش رابطه‌ای مستقیم با هم دارند و نکته مهم‌تری نسبت به تعداد صفحات هستند.
قانون یک میلیون صفحه هنوز تغییری نکرده
در یکی از قسمت‌های پادکست «Search Off the Record»، وقتی «مارتین اسپلِت» از اعضای تیم سرچ گوگل درباره آستانه بودجه خزش پرسید، «گری ایلیز» همون دیدگاه قدیمی گوگل رو تکرار کرد.
ایلیز گفت:
«فکر می‌کنم یک میلیون صفحه، احتمالا مرز قابل قبولی باشه.»
اما همین کلمه «احتمالا» نشون میده که این عدد قانون قطعی نیست. گوگل معمولا عدد یک میلیون صفحه رو به‌عنوان یه راهنمای کلی برای بودجه خزش ارائه میده، اما حالا با در نظر گرفتن فاکتور جدیدی به اسم بازدهی دیتابیس (Database Efficiency)، حتی سایت‌هایی با صفحات کمتر هم ممکنه با مشکلات خزش مواجه بشن، اگر زیرساخت فنی‌شون ضعیف باشه.
نکته جالب اینجاست که این عدد از سال ۲۰۲۰ تا حالا هیچ تغییری نکرده. با اینکه دنیای وب به‌شدت گسترده‌تر شده، استفاده از جاوااسکریپت، محتوای داینامیک و سایت‌های پیچیده‌تر افزایش پیدا کرده، اما باز هم گوگل عدد یک میلیون رو به‌عنوان یک مرز معمول در نظر می‌گیره.
آنچه واقعا اهمیت دارد: سرعت دیتابیس
مهم‌ترین بخش ماجرا اینجاست؛ ایلیز اشاره کرده که دیتابیس کند، تأثیر منفی بیشتری روی خزش گوگل داره نسبت به داشتن تعداد زیادی صفحه.
او توضیح داد:
«اگه درخواست‌های دیتابیس شما پرهزینه و زمان‌بر باشن، فشار زیادی به سرور وارد می‌کنن.»
یعنی سایتی با ۵۰۰ هزار صفحه و دیتابیس کند، ممکنه در زمینه خزش، مشکلات بیشتری نسبت به سایتی با ۲ میلیون صفحه استاتیک و پرسرعت داشته باشه.
این موضوع چه معنی‌ای برای سئو داره؟ باید عملکرد دیتابیس رو بررسی کنی، نه فقط تعداد صفحات سایت رو. سایت‌هایی که از محتوای داینامیک، کوئری‌های پیچیده یا اطلاعات لحظه‌ای استفاده می‌کنن، باید اولویت‌شون رو روی افزایش سرعت و بهینه‌سازی دیتابیس بذارن. این همون جاییه که سرعت دیتابیس و بودجه خزش به‌هم گره می‌خورن.
عامل اصلی مصرف منابع: ایندکس کردن، نه خزش
ایلیز در این قسمت از صحبت‌هاش یه نکته جالب و کمی متفاوت با باور رایج سئوکارها مطرح کرد.
او گفت:
«در واقع این خزش نیست که منابع زیادی مصرف می‌کنه، بلکه ایندکس کردن (Indexing) و شاید هم ارائه محتوا (Serving) یا پردازش اطلاعات بعد از خزشه که مصرف سنگینی داره.»
یعنی چی؟ یعنی اگر فکر می‌کنی جلوگیری از خزش گوگل (مثلا با استفاده از فایل robots.txt) باعث کاهش مصرف منابع سرورت میشه، شاید بهتر باشه دوباره فکر کنی. راهکار بهتر اینه که کاری کنی محتوای سایتت بعد از خزش، راحت‌تر برای گوگل پردازش بشه. مثلا ساختار کدنویسی، تگ‌گذاری درست، داده‌های ساختاریافته (Structured Data) و حتی سرعت دیتابیس در این مرحله اهمیت دارن.
مسیر رسیدن به اینجا
در این پادکست، کمی هم درباره رشد مقیاس وب صحبت شد. برای مقایسه، در سال ۱۹۹۴ فقط حدود ۱۱۰ هزار صفحه توسط موتور جستجوی World Wide Web Worm ایندکس شده بود و WebCrawler حدود ۲ میلیون صفحه رو پوشش می‌داد. ایلیز این اعداد رو در مقایسه با امروز، «بامزه» توصیف کرد!
همین مقایسه نشون میده چرا عدد یک میلیون صفحه هنوز هم یه معیار نسبتا منطقی برای تعیین اهمیت بودجه خزش به حساب میاد. چیزی که اون زمان خیلی بزرگ به نظر می‌رسید، امروز فقط یه سایت با اندازه متوسط محسوب میشه. در واقع زیرساخت‌های گوگل اونقدر پیشرفته شدن که می‌تونن بدون نیاز به تغییر این عدد، حجم عظیمی از سایت‌ها رو مدیریت کنن.
چرا این آستانه ثابت مونده؟
گوگل مدتیه که سعی می‌کنه اثر خزش خودش رو روی وب کاهش بده. اما ایلیز توضیح داد که رسیدن به این هدف، کار راحتی نیست.
او گفت:
«شما مثلا از هر درخواست خزش ۷ بایت صرفه‌جویی می‌کنی، ولی یه قابلیت جدید باعث میشه دوباره ۸ بایت بهش اضافه شه!»
یعنی هر وقت یک بخش از سیستم بهینه میشه، یه ویژگی جدید یا محصول تازه ممکنه همون صرفه‌جویی رو خنثی کنه. همین تعادل بین بهینه‌سازی و نوآوری باعث شده که عدد یک میلیون صفحه به‌عنوان آستانه بودجه خزش همچنان پابرجا بمونه. زیرساخت گوگل همیشه در حال پیشرفته، اما اصل قضیه درباره اینکه چه زمانی باید نگران سرعت دیتابیس و بودجه خزش باشی، هنوز تغییری نکرده.
الان باید چیکار کنی؟
بر اساس نکاتی که توی این مقاله گفتیم، حالا وقتشه یه نگاه دوباره به استراتژی فنی سایتت بندازی:
اگه سایتت زیر ۱ میلیون صفحه داره:
همون مسیری که تا الان رفتی رو ادامه بده. تمرکزت باید روی تولید محتوای با کیفیت و تجربه کاربری عالی باشه. فعلا لازم نیست نگران بودجه خزش (Crawl Budget) باشی.
اگه سایت بزرگ‌تری داری:
اینجا دیگه باید سرعت دیتابیس و بهره‌وری زیرساخت رو بیاری اولویت اول. مواردی که لازمه بررسی کنی:
-
زمان اجرای کوئری‌های دیتابیس
-
عملکرد کش (Caching)
-
سرعت تولید محتوای داینامیک (Dynamic Content)
برای همه سایت‌ها:
تمرکزت رو از جلوگیری از خزش (Crawling) بردار و بذار روی بهینه‌سازی ایندکس شدن محتوا (Indexing). چون خزش خودش خیلی منابع مصرف نمی‌کنه، ولی پردازش محتوا بعد از خزش یه چالش واقعیه. کاری کن که گوگل راحت‌تر بتونه محتوای سایتت رو درک و ایندکس کنه.
بررسی‌های فنی مهم
برای اینکه مطمئن شی سایتت از نظر فنی آماده‌ست، این چک‌لیست رو مد نظر داشته باش:
-
سرعت اجرای کوئری‌های دیتابیس
-
زمان پاسخ‌دهی سرور
-
بهینه‌سازی نحوه تحویل محتوا (Content Delivery)
-
پیاده‌سازی اصولی کش (Caching)
نگاهی به آینده
راهنمای ثابت گوگل درباره بودجه خزش نشون میده که بعضی از اصول سئو، واقعا بنیادی هستن. بیشتر سایت‌ها نیازی به نگرانی در مورد بودجه خزش ندارن.
اما نکته جدیدی که درباره کارایی دیتابیس (Database Efficiency) مطرح شد، معادله رو برای سایت‌های بزرگ‌تر تغییر میده. دیگه فقط تعداد صفحات مهم نیست، بلکه اینکه این صفحات با چه سرعت و بهینگی به کاربر و ربات‌های گوگل ارائه می‌شن خیلی مهم‌تره.
برای متخصص‌های سئو، این یعنی باید از این به بعد عملکرد دیتابیس رو توی بررسی‌های فنی سئو (Technical SEO Audit) وارد کنن. برای توسعه‌دهنده‌ها هم یعنی باید بهینه‌سازی کوئری‌ها و استفاده درست از کش رو جدی بگیرن.
شاید پنج سال دیگه هم همین عدد یک میلیون به‌عنوان آستانه بودجه خزش باقی بمونه. اما سایتی که امروز روی عملکرد دیتابیسش کار کنه، قطعا برای آینده آماده‌تر خواهد بود.
ترجمه : Google: Database Speed Beats Page Count For Crawl Budget