5 نکته کلیدی درباره Crawl Stats در سرچ کنسول گوگل

اگر به تازگی مسیر حرفه‌ای خود را به عنوان یک متخصص سئو آغاز کرده‌اید، گزارش [fusion_dropcap class="fusion-content-tb-dropcap"]C[/fusion_dropcap]rawl Stats می‌تواند یکی از ابزارهای قدرتمند برای تحلیل وضعیت وب‌سایت شما باشد. این گزارش به شما کمک می‌کند عملکرد خزنده‌های گوگل روی سایتتان را بررسی کرده و درک بهتری از چگونگی مصرف منابع خزش (Crawl Budget) داشته باشید.

بدون شک، هدف اصلی تحلیل وضعیت خزش برای سئوکارها، بهینه‌سازی بودجه خزش وب‌سایت است تا اطمینان حاصل شود که صفحات مهم سایت به درستی توسط گوگل شناسایی و ایندکس می‌شوند.

در این مقاله، به بررسی اهمیت گزارش Crawl Stats، نحوه دسترسی به آن و شیوه استفاده موثر از این ابزار کاربردی می‌پردازیم.

وب‌سایت شما چگونه توسط گوگل Crawl می‌شود؟

گوگل همیشه صفحات تازه منتشر شده را به سرعت ایندکس نمی‌کند؛ در برخی موارد ممکن است هفته‌ها طول بکشد تا یک صفحه ایندکس شود. این موضوع از نظر سئو اهمیت بالایی دارد، زیرا در بسیاری از مواقع، نیاز دارید که صفحات مهم وب‌سایتتان فوراً ایندکس شوند. در اینجا، بودجه خزش (Crawl Budget) نقش کلیدی خود را نشان می‌دهد.

گزارش Crawl Stats در سرچ کنسول گوگل اطلاعات ارزشمندی درباره نحوه خزش گوگل در وب‌سایت شما ارائه می‌دهد. این گزارش مشخص می‌کند که خزنده‌های گوگل روزانه چه تعداد صفحه از سایت شما را بازدید می‌کنند. با استفاده از این ابزار می‌توانید مشکلات احتمالی را شناسایی کرده و ناهنجاری‌هایی که ممکن است بر سئوی سایت تأثیر منفی بگذارند، رفع کنید.

5 نکته کلیدی برای بررسی Crawl Stats یک سایت

برای مشاهده گزارش Crawl Stats، ابتدا وارد حساب کاربری خود در سرچ کنسول گوگل شوید و از مسیر Settings > Crawl Stats به این بخش دسترسی پیدا کنید. در این قسمت، تمام اطلاعات و بخش‌های مرتبط با خزش سایت شما به نمایش در می‌آید.

1. هاست

فرض کنید وب‌سایت شما شامل یک فروشگاه اینترنتی با آدرس shop.website.com و یک وبلاگ با آدرس blog.website.com باشد. با استفاده از گزارش Crawl Stats می‌توانید به‌راحتی وضعیت خزش مربوط به هر یک از زیر دامنه‌های وب‌سایت خود را بررسی کنید. این قابلیت به شما کمک می‌کند تا عملکرد خزنده‌های گوگل در بخش‌های مختلف سایت را بهتر تحلیل کرده و اقدامات لازم برای بهبود خزش را انجام دهید.

2.بررسی وضعیت HTTP در Crawl Stats

یکی از کاربردهای مهم گزارش Crawl Stats، تحلیل کدهای وضعیت HTTP مربوط به URLهای خزیده شده است. دلیل اهمیت این بررسی آن است که نمی‌خواهید ربات‌های گوگل منابع خود را صرف خزش صفحاتی کنند که کد وضعیت HTTP 200 معتبر ندارند. این امر می‌تواند منجر به هدر رفتن بودجه خزش (Crawl Budget) شود و بر عملکرد کلی سئو سایت تأثیر منفی بگذارد.

برای مشاهده جزئیات کدهای وضعیت URLهای خزیده شده، می‌توانید از مسیر Settings > Crawl Stats > Crawl Requests Breakdown به این اطلاعات دسترسی پیدا کنید.

مثال عملی:

در گزارش بالا، ۱۶ درصد از تمام درخواست‌ها مربوط به صفحات ریدایرکت شده بوده است. بررسی این آمار می‌تواند به شما کمک کند تا مشکلات احتمالی را شناسایی و برای رفع آن‌ها اقدام کنید، و بدین ترتیب استفاده بهینه‌تری از بودجه خزش خود داشته باشید.

3.هدف گزارش Crawl Stats در سرچ کنسول گوگل

گزارش Crawl Stats اهداف خزش گوگل را به دو دسته کلی تقسیم می‌کند:

1. خزش برای بازیابی (Retrieval):
   URLهایی که قبلاً ایندکس شده‌اند اما برای به‌روزرسانی اطلاعات، گوگل دوباره آن‌ها را خزیده است. به‌عنوان مثال، ربات گوگل ممکن است برای کشف لینک‌ها و محتوای جدید به صفحه اصلی وب‌سایت شما بازگردد.
2. خزش برای کشف (Discovery):
   URLهایی که برای اولین بار در چرخه خزش گوگل ظاهر شده‌اند. این دسته شامل صفحاتی است که تاکنون هرگز خزیده نشده‌اند.

اصطلاح Discovered but not indexed نشان‌دهنده آن است که گوگل یک صفحه را شناسایی کرده اما هنوز آن را ایندکس نکرده است. این شرایط شبیه این است که یک رستوران جدید در شهر شما افتتاح شده اما شما هنوز از آن بازدید نکرده‌اید.

راهکار برای صفحات “Discovered but not indexed”

• انتظار: می‌توانید منتظر بمانید تا گوگل در نهایت صفحات را ایندکس کند.
• تحلیل و رفع مشکل: وارد سرچ کنسول شوید و از مسیر Settings > Crawl Stats > Crawl Requests: HTML داده‌های مرتبط را بررسی کنید.

در این بخش می‌توانید اطلاعات دقیقی مانند تعداد صفحاتی که گوگل به طور متوسط روزانه از سایت شما بازدید می‌کند را مشاهده کنید.

3.نوع فایل در گزارش Crawl Stats سرچ کنسول گوگل

گزارش Crawl Stats در سرچ کنسول گوگل می‌تواند ابزار بسیار مفیدی برای تحلیل عملکرد وب‌سایت‌های جاوا اسکریپتی باشد. از طریق این گزارش، شما می‌توانید بررسی کنید که ربات گوگل چند بار و با چه تناوبی به فایل‌های JS سایت شما دسترسی پیدا می‌کند. این اطلاعات برای بهینه‌سازی عملکرد صفحات جاوا اسکریپتی بسیار ارزشمند است.

اهمیت برای تصاویر

اگر سایت شما شامل تعداد زیادی تصویر است و جستجوی تصویر (Image Search) یکی از اجزای اصلی استراتژی سئوی شماست، این گزارش به شما امکان می‌دهد تا بررسی کنید که ربات گوگل چقدر توانسته است تصاویر شما را خزیده و ایندکس کند.

مزیت کلیدی:

این داده‌ها به شما کمک می‌کند تا مطمئن شوید که محتوای تصویری و اسکریپت‌های جاوا به درستی برای ربات‌های گوگل در دسترس هستند و به بهبود عملکرد کلی وب‌سایت‌تان در نتایج جستجو کمک می‌کنند.

4.نوع ربات گوگل در گزارش Crawl Stats سرچ کنسول گوگل

یکی از امکانات کلیدی گزارش Crawl Stats در سرچ کنسول گوگل، ارائه اطلاعات دقیق درباره نوع ربات‌های گوگل است که سایت شما را خزیده‌اند. این قابلیت به شما کمک می‌کند تا بررسی کنید کدام ربات‌ها، مانند Googlebot برای وب، تصاویر، یا ویدئوها، از صفحات شما بازدید کرده‌اند.

اطلاعات منحصربه‌فرد در گزارش Crawl Stats

گزارش Crawl Stats شامل داده‌هایی است که در گزارش‌های سرور معمولی به آن‌ها دسترسی نخواهید داشت. این اطلاعات شامل موارد زیر می‌شود:

• خطاهای DNS: مشکلاتی که ممکن است باعث اختلال در دسترسی گوگل به سایت شما شود.
• Timeouts صفحه: زمانی که صفحات به دلایل فنی در زمان مشخص پاسخ نمی‌دهند.
• مشکلات هاست: مانند عدم امکان فچ کردن فایل‌های کلیدی مانند robots.txt.

مزیت این گزارش:

این داده‌ها به شما امکان می‌دهند مشکلات زیرساختی سایت خود را شناسایی و برطرف کنید تا از هدر رفتن بودجه خزش (Crawl Budget) جلوگیری شود و سایت شما بهینه‌تر عمل کند.

5.استفاده از Crawl Stats در ابزار URL Inspection

گزارش Crawl Stats در سرچ کنسول گوگل ابزاری قدرتمند برای شناسایی و رفع مشکلات ایندکس صفحات است. یک متخصص سئو تجربه‌ای واقعی را به اشتراک می‌گذارد:

تجربه یک متخصص سئو

این متخصص توضیح می‌دهد:
۱. بسیاری از صفحات محصولات در گوگل ایندکس نشده بودند.
۲. هیچ لینک داخلی بین محصولات وجود نداشت.

در چنین شرایطی، تنها راه گوگل برای کشف محتوای جدید، استفاده از نقشه سایت و صفحات دسته‌بندی شده است. اما دسترسی به گزارش‌های سرور برای بررسی این موضوع، به‌ویژه در سازمان‌های بزرگ، اغلب چالش‌برانگیز است.

راهکار استفاده از Crawl Stats

گزارش Crawl Stats در سرچ کنسول گوگل به شما کمک می‌کند این مشکلات را سریع‌تر شناسایی کنید. برای این کار:

1. ابتدا یک URL از صفحات دسته‌بندی اصلی را در URL Inspection Tool سرچ کنسول بررسی کنید.
2. سپس به بخش Coverage > Crawl report مراجعه کنید.

یک مثال واقعی

در یکی از بررسی‌ها مشخص شد صفحه‌ای از دسته‌بندی‌های اصلی سایت، بیش از سه ماه پیش کرال شده بود. حتی صفحات دیگری نیز وجود داشتند که ربات گوگل به آن‌ها دسترسی پیدا نکرده و هنوز ناشناخته باقی مانده بودند.

این اطلاعات به متخصصان سئو امکان می‌دهد تا در کمترین زمان، مشکلات مشابه را پیدا کرده و برای بهینه‌سازی بودجه خزش (Crawl Budget) سایت اقدام کنند.

گزارش Crawl Stats یک ابزار ضروری برای بهینه‌سازی سئو است، به‌ویژه برای سایت‌های بزرگ. با استفاده از این گزارش می‌توانید مشکلات ایندکس نشدن صفحات را شناسایی کرده و فرآیند خزش گوگل را بهبود بخشید. این امر به گوگل کمک می‌کند سریع‌تر محتوای ارزشمند شما را پیدا کرده و ایندکس کند.