فهرست مطالب
گری ایلیس، یکی از کارشناسان گوگل، به مشکلی بزرگ برای ربات‌های جستجوگر این شرکت اشاره کرده است: پارامترهایی که در آدرس‌های وب قرار می‌گیرند.
در یکی از قسمت‌های جدید پادکست گوگل، ایلیس توضیح داده که این پارامترها چطور می‌توانند باعث ایجاد آدرس‌های بی‌پایانی برای یک صفحه شوند و این موضوع، کار ربات‌های جستجوگر را بسیار سخت می‌کند.
او در مورد جنبه‌های فنی این مشکل، تأثیر آن روی سئو (بهینه‌سازی برای موتورهای جستجو) و راه‌هایی که می‌توان برای حل آن پیدا کرد، صحبت کرده است. همچنین، ایلیس به روش‌هایی که گوگل در گذشته برای مقابله با این مشکل استفاده کرده و تغییراتی که ممکن است در آینده ایجاد شود، اشاره کرده است.
این اطلاعات برای سایت‌های بزرگ و فروشگاه‌های اینترنتی که آدرس‌های وب زیادی دارند، بسیار مهم است.
مشکل URLهای بی‌پایان
ایلیس یه نکته جالب رو مطرح کرد: آدرس‌های اینترنتی (URL) می‌تونن تعداد بی‌نهایتی حالت مختلف پیدا کنن، حتی برای یه صفحه که محتوای ثابت داره!
اینجوری بگم که شما می‌تونید هر تعداد پارامتر دلخواهی به آخر یه آدرس اضافه کنید. مثلاً فرض کنید یه فروشگاه آنلاین دارید. شما می‌تونید به آدرس صفحه محصول، پارامترهایی مثل رنگ محصول، سایز محصول، یا حتی یه کد تخفیف اضافه کنید. از نظر فنی، همه این آدرس‌ها به همون صفحه محصول اشاره می‌کنن.
اما این قضیه برای موتورهای جستجو یه دردسر بزرگ ایجاد می‌کنه. موتورهای جستجو با استفاده از خزنده‌هاشون، تمام صفحات وب رو بررسی می‌کنن تا بتونن محتوای اونها رو بفهمند و توی نتایج جستجو نمایش بدن. حالا تصور کنید که یه خزنده بخواد همه این آدرس‌های مختلف رو بررسی کنه. این کار خیلی وقت‌گیر و پرهزینه هست و ممکنه باعث بشه که خزنده نتونه همه صفحات مهم رو به موقع بررسی کنه.
به عبارت دیگه، موتورهای جستجو نمی‌تونن به راحتی تشخیص بدن که دو تا آدرس مختلف، در واقع به همون صفحه اشاره می‌کنن.
این موضوع باعث میشه که موتورهای جستجو منابعشون رو به صورت ناکارآمد مصرف کنن و ممکنه در ایندکس کردن صحیح صفحات وب با مشکل مواجه بشن.
سایت‌های تجارت الکترونیک بیشترین تأثیر را می‌پذیرند
سایت‌های فروش آنلاین بیش از هر جای دیگری با این مشکل روبرو هستند. چرا؟ چون این سایت‌ها برای اینکه بتونن محصولات رو ردیابی کنن، فیلتر کنن و مرتب کنن، از آدرس‌های اینترنتی خیلی پیچیده‌ای استفاده می‌کنن.
مثلاً یه محصول ممکنه چندین آدرس اینترنتی مختلف داشته باشه؛ یکی برای رنگ قرمز، یکی برای رنگ آبی، یکی برای سایز بزرگ و یکی برای سایز کوچک.
ایلیس می‌گه: “چون میشه خیلی راحت به این آدرس‌ها اطلاعات جدید اضافه کرد، وقتی موتورهای جستجو دارن تو سایت‌ها دنبال محتوا می‌گردن، همه چیز خیلی پیچیده میشه.”
پیشینه مسئله
گوگل سال‌هاست که با چالش مدیریت پارامترهای URL در نتایج جستجو دست و پنجه نرم می‌کند. در گذشته، گوگل ابزاری به نام “پارامترهای URL” در کنسول جستجو ارائه می‌داد که به صاحبان وبسایتها کمک می‌کرد تا اهمیت پارامترهای مختلف را تعیین کنند و مشخص کنند کدام پارامترها برای موتور جستجو بی‌اهمیت هستند. اما متأسفانه، گوگل این ابزار را در سال ۲۰۲۲ حذف کرد. این تصمیم باعث نگرانی بسیاری از متخصصان سئو شده است، زیرا آن‌ها نگرانند که بدون این ابزار، چگونه می‌توانند به بهترین شکل ممکن پارامترهای URL را مدیریت کنند و از تأثیر منفی آن‌ها بر سئوی سایت جلوگیری کنند.
راهکارهای احتمالی
ایلیس، در حالی که راه حل قطعی‌ای ارائه نکرد، به چندین ایده برای حل این مسئله اشاره کرد:
- گوگل در حال کار روی روش‌هایی برای مدیریت بهتر آدرس‌های وب است: ممکن است گوگل الگوریتم‌هایی بسازد تا آدرس‌های وب تکراری را تشخیص دهد.
- صاحبان وبسایتها باید واضح‌تر توضیح دهند که آدرس‌های وب‌سایتشان چگونه ساخته شده است: ایلیس پیشنهاد کرد که می‌توانیم به وبمسترها بگوییم چگونه از آدرس‌های وب‌سایتشان بهتر استفاده کنند.
- فایل‌های robots.txt می‌توانند مفیدتر باشند: ایلیس گفت که با استفاده از فایل‌های robots.txt، می‌توانیم به موتورهای جستجو بگوییم که کدام قسمت‌های وب‌سایت را بررسی کنند و کدام قسمت‌ها را نادیده بگیرند.
این موضوع چند تا نتیجه مهم برای سئوی سایت داره:
- بودجه خزیدن: وقتی سایت خیلی بزرگه، مدیریت آدرس‌های اینترنتی (URLها) خیلی مهم میشه. با این کار می‌تونیم مطمئن بشیم که موتورهای جستجو مهم‌ترین صفحات سایت رو پیدا و ثبت می‌کنن.
- ساختار سایت: طراحان سایت ممکنه مجبور بشن که ساختار آدرس‌های اینترنتی رو به‌خصوص برای سایت‌های فروشگاهی بزرگ با محصولات متنوع دوباره بررسی کنن.
- جستجوی چند وجهی: سایت‌های فروشگاهی که به مشتری‌ها اجازه میدن از چند فیلتر مختلف برای جستجو استفاده کنن، باید دقت کنن که این روش جستجو چطور روی آدرس‌های اینترنتی و پیدا شدن سایت توسط موتورهای جستجو تأثیر می‌گذاره.
- تگ‌های اصلی: استفاده از تگ‌های اصلی به گوگل کمک می‌کنه که بفهمه کدوم نسخه از یک آدرس اینترنتی مهم‌تره.
