برای درک بهتر سئو، ابتدا باید با نحوه کار موتور جستجوی گوگل آشنا شوید. جستجوی گوگل یک موتور جستجوی کاملا خودکار است که از نرم افزارهای ویژه ای به نام خزنده های وب (Web Crawlers) برای بررسی دائمی اینترنت و پیدا کردن صفحات جدید برای افزودن به فهرست یا ایندکس (Index) خود استفاده می کند. جالب است بدانید که اکثر صفحاتی که در نتایج گوگل مشاهده می کنید به صورت دستی ثبت نشده اند؛ بلکه ربات های گوگل به شکل خودکار در حین گشت و گذار در وب، آنها را پیدا و به فهرست خود اضافه می کنند. این مقاله به زبان ساده مراحل کار جستجوی گوگل را برای شما توضیح می دهد. داشتن این دانش پایه به شما کمک می کند تا مشکلات مربوط به خزش (Crawling) را برطرف کرده، صفحات خود را سریعتر ایندکس کنید و در نهایت بهبود رتبه سایت خود را در نتایج جستجو رقم بزنید.
آشنایی با سه مرحله اصلی کارکرد گوگل
فرایند کار جستجوی گوگل شامل سه مرحله اساسی است. البته این نکته را در نظر داشته باشید که ممکن است همه صفحات سایت شما با موفقیت از تمام این مراحل عبور نکنند. درک این مراحل به شما در بهینه سازی وب سایت و تدوین یک استراتژی لینک سازی موثر کمک شایانی میکند. این سه مرحله عبارت اند از:
- خزش (Crawling): در این مرحله، ربات های گوگل که خزنده (Crawler) نام دارند، به صورت خودکار در وب می خزند و محتوای متنی، تصویری و ویدیویی صفحات مختلف را پیدا و دانلود می کنند.
- ایندکس کردن (Indexing): پس از خزش، گوگل محتوای جمع آوری شده را تحلیل و پردازش می کند. سپس این اطلاعات را در یک پایگاه داده غول پیکر به نام ایندکس گوگل (Google Index) دسته بندی و ذخیره می کند.
- نمایش نتایج جستجو (Serving Search Results): این مرحله آخر است. زمانی که یک کاربر عبارتی را در گوگل جستجو می کند، الگوریتم های گوگل بهترین و مرتبط ترین پاسخ ها را از میان صفحات ایندکس شده انتخاب کرده و به کاربر نمایش می دهند.
مرحله اول: خزش (Crawling) یا پیدا کردن صفحات
اولین قدم در نحوه کار موتور جستجوی گوگل، پیدا کردن صفحات موجود در دنیای وب است. از آنجایی که هیچ لیست مرکزی از تمام صفحات وب وجود ندارد، گوگل باید به طور مداوم صفحات جدید یا به روز شده را کشف کند و به فهرست خود اضافه نماید. این فرآیند “کشف URL” نامیده میشود. برخی صفحات از قبل برای گوگل شناخته شده هستند چون قبلا از آنها بازدید کرده است. برخی دیگر از صفحات زمانی کشف میشوند که گوگل یک لینک را از یک صفحه شناخته شده به صفحه ای جدید پیدا میکند. برای مثال، وقتی یک صفحه دسته بندی به یک مقاله جدید لینک میدهد. راه دیگر کشف صفحات جدید، زمانی است که شما لیستی از آدرس های سایت خود را در قالب یک نقشه سایت (Sitemap) به گوگل معرفی میکنید.
زمانی که گوگل URL یک صفحه را کشف کرد، آن را “خزش” یا (Crawl) میکند تا محتوای درون آن را بررسی کند. گوگل از هزاران کامپیوتر برای خزش میلیاردها صفحه در وب استفاده میکند. نرم افزاری که این کار را انجام میدهد گوگل بات (Googlebot) نام دارد که به آن خزنده، ربات یا عنکبوت هم میگویند. گوگل بات با یک فرایند الگوریتمی تصمیم میگیرد که کدام سایت ها را، با چه تناوبی و با چه عمقی خزش کند. همچنین این ربات ها طوری برنامه ریزی شده اند که با سرعت بیش از حد به سایت شما هجوم نیاورند تا باعث اختلال در سرور نشوند.
البته گوگل بات تمام صفحاتی را که پیدا میکند، خزش نمیکند. ممکن است صاحب یک سایت با استفاده از فایل robots.txt دسترسی ربات ها را به بخش هایی از سایت محدود کرده باشد یا برخی صفحات برای مشاهده نیاز به ورود کاربر داشته باشند.
در طول فرایند خزش، گوگل صفحه را دقیقا مانند یک مرورگر کروم رندر (Render) میکند و کدهای جاوا اسکریپت (JavaScript) را اجرا میکند. این کار بسیار مهم است زیرا امروزه بسیاری از وب سایت ها برای نمایش محتوای اصلی خود از جاوا اسکریپت استفاده میکنند و بدون رندر شدن، گوگل قادر به دیدن آن محتوا نخواهد بود. مشکلات رایج در دسترسی گوگل بات به سایت ها معمولا شامل موارد زیر است:
- مشکلات مربوط به سرور یا هاستینگ سایت
- مشکلات مربوط به شبکه اینترنت
- وجود دستوراتی در فایل robots.txt که مانع دسترسی گوگل بات میشوند
مرحله دوم: ایندکس کردن (Indexing) یا دسته بندی اطلاعات
پس از خزش یک صفحه، گوگل تلاش میکند تا موضوع و محتوای آن را درک کند. این مرحله ایندکس کردن (Indexing) نام دارد و شامل تحلیل محتوای متنی، تگ های مهمی مانند تگ عنوان (<title>)، ویژگی های alt تصاویر، ویدیوها و سایر موارد است.
در این مرحله گوگل تشخیص میدهد که آیا یک صفحه، کپی صفحه دیگری در اینترنت است یا صفحه اصلی و مرجع (Canonical) محسوب میشود. صفحه کنونیکال همان صفحه ای است که در نتایج جستجو نمایش داده خواهد شد. برای انتخاب این صفحه، گوگل ابتدا تمام صفحاتی که محتوای مشابهی دارند را در یک گروه (Cluster) قرار میدهد و سپس نماینده اصلی آن گروه را به عنوان صفحه کنونیکال انتخاب میکند.
گوگل سیگنال های مهمی را درباره صفحه کنونیکال و محتوای آن جمع آوری میکند تا در مرحله بعد، یعنی نمایش نتایج، از آنها استفاده کند. این سیگنال ها میتوانند شامل زبان صفحه، کشور هدف محتوا و تجربه کاربری (Usability) صفحه باشند. این سیگنال ها در کنار خرید بک لینک های با کیفیت، به بهبود رتبه سایت کمک میکنند.
تمام اطلاعات جمع آوری شده در یک پایگاه داده عظیم به نام ایندکس گوگل ذخیره میشود. به یاد داشته باشید که ایندکس شدن صفحات تضمینی نیست و گوگل هر صفحه ای را که پردازش میکند، لزوما ایندکس نمیکند. برخی دلایل رایج برای ایندکس نشدن صفحات عبارتند از:
- کیفیت بسیار پایین محتوا
- وجود تگ های متا ربات (Robots Meta Tags) که ایندکس را ممنوع کرده اند
- طراحی پیچیده وب سایت که فرایند ایندکس را برای گوگل دشوار میکند
مرحله سوم: نمایش نتایج (Serving Search Results)
وقتی یک کاربر عبارتی را جستجو میکند، سیستم های گوگل در پایگاه داده ایندکس خود به دنبال مرتبط ترین صفحات میگردند و نتایجی را که فکر میکنند بهترین کیفیت و بیشترین ارتباط را با جستجوی کاربر دارند، نمایش میدهند. ارتباط یا (Relevancy) بر اساس صدها فاکتور رتبه بندی تعیین میشود که شامل مواردی مانند موقعیت مکانی کاربر، زبان و نوع دستگاه (موبایل یا دسکتاپ) است.
بسته به عبارت جستجو شده، ظاهر صفحه نتایج نیز تغییر میکند. برای مثال، جستجوی یک عبارت محلی مانند “تعمیرگاه دوچرخه” نتایج محلی و نقشه را نشان میدهد، در حالی که جستجوی “دوچرخه مدرن” احتمالا نتایج تصویری بیشتری خواهد داشت.
گاهی اوقات ممکن است در گوگل سرچ کنسول (Google Search Console) ببینید که صفحه شما ایندکس شده است، اما آن را در نتایج جستجو پیدا نمیکنید. این مشکل میتواند به دلایل زیر باشد:
- محتوای صفحه شما ارتباطی با عبارات جستجو شده توسط کاربران ندارد.
- کیفیت محتوای شما پایین است.
- تگ های متا ربات مانع نمایش صفحه در نتایج شده اند.
اگرچه این راهنما نحوه کار موتور جستجوی گوگل را توضیح داد، اما الگوریتم های گوگل دائما در حال بهبود و تغییر هستند. شما میتوانید با دنبال کردن وبلاگ Google Search Central از آخرین تغییرات، مانند آپدیت های مهمی مثل آپدیت هسته (Core Update)، مطلع شوید و سئو خارجی سایت خود را بر اساس آنها بهینه کنید.
من، جعفر جلالی، سایت ایران بک لینک را راهاندازی کردم. با تکیه بر تجربیاتی که طی سالها در کسبوکارهای آنلاین به دست آوردهام و همچنین استفاده از منابع اصلی و معتبر انگلیسی، تلاش کردم بهترین مقالات و منابع آموزشی در زمینه سئو را به زبان فارسی گردآوری کنم. هدف من از ایجاد ایران بک لینک این است که به کسبوکارهای آنلاین کمک کنم تا با دسترسی به اطلاعات کاربردی و جامع، به موفقیت بیشتری دست پیدا کنند. امیدوارم که ایران بک لینک بتواند به منبعی قابلاعتماد برای شما تبدیل شود.