خطای Crawled – Currently Not Indexed + راه حل

برای حل مشکل خطای Crawled – Currently Not Indexed در Google Search Console، می‌توانید اقدامات زیر را انجام دهید:

ارتقای کیفیت محتوا:
مطمئن شوید که محتوای شما با کیفیت بالا، منحصر به فرد و ارزشمند برای کاربران است. محتوای شما باید هدف جستجو (Search Intent) کاربران را برآورده کند و برای مخاطبانتان مرتبط باشد.

1. بررسی دستی ایندکس شدن:
   ممکن است صفحه شما قبلاً ایندکس شده باشد اما اکنون گوگل آن را حذف کرده باشد. اگر چنین است، صفحات تحت تأثیر را به صورت جداگانه بررسی کنید تا علت مشکل را بیابید.
2. بهینه‌سازی ساختار وب سایت و لینک سازی داخلی (Internal Links):
   اطمینان حاصل کنید که ساختار وب سایت شما (Website Architecture) روشن و با ناوبری مناسب باشد، زیرا ساختار نامناسب می‌تواند بر ایندکس شدن صفحات تأثیر منفی بگذارد. به محتوای ارزشمند از صفحات مهم سایت لینک دهید تا به گوگل نشان دهید که این محتوا اهمیت دارد.
3. حذف محتوای تکراری:
   گوگل محتوای تکراری را نمی‌پسندد. اگر وب‌سایت شما دارای محتوای تکراری است، حتماً آن را حذف یا بهینه‌سازی کنید.
4. درخواست ایندکس مجدد:
   از ابزار URL Inspection در Google Search Console استفاده کنید تا درخواست بازبینی صفحه را ارسال کنید.
5. استفاده از نقشه سایت موقت یا اعتبارسنجی URL‌ها:
   می‌توانید یک نقشه سایت موقت با URL‌هایی که ایندکس نشده‌اند ایجاد کرده و آن را به Google Search Console ارسال کنید. همچنین می‌توانید درخواست اعتبارسنجی گزارش “Crawled – currently not indexed” را بدهید.

برای رفع خطای Crawled – Currently Not Indexed ، می‌توانید این ۶ مرحله ساده را دنبال کنید!

گوگل به طور دقیق دلیل مشخصی برای اینکه چرا یک صفحه بررسی شده ولی ایندکس نشده ارائه نمی‌دهد، اما دلایل احتمالی برای این وضعیت وجود دارد.

از مراحل زیر برای حل این مشکل استفاده کنید:

مرحله 1: تولید محتوای باکیفیت، کلید اصلی افزایش رتبه در گوگل

یکی از اصلی‌ترین دلایل عدم ایندکس شدن صفحات وب، وجود مشکلاتی در محتوای آن‌ها است. به عنوان یک وبمستر، باید مطمئن شوید که محتوای صفحات شما از کیفیت بالایی برخوردار بوده و پاسخگوی نیازهای کاربران باشد. گوگل سرچ کنسول، مجموعه‌ای از سوالات را در اختیار شما قرار می‌دهد تا به شما در ارزیابی کیفیت محتوایتان کمک کند.

علاوه بر این، می‌توانید از راهنمایی‌های ارزیاب‌های کیفیت گوگل نیز بهره‌مند شوید. اگرچه این دستورالعمل‌ها در درجه اول برای ارزیاب‌های کیفیت طراحی شده‌اند، اما وبمسترها نیز می‌توانند از آن‌ها برای بهبود سایت خود استفاده کنند. برای کسب اطلاعات بیشتر، مقاله ما در مورد دستورالعمل‌های ارزیاب کیفیت را مطالعه کنید.

یکی دیگر از نکات مهم، بهینه‌سازی محتوای تولید شده توسط کاربران است. فرض کنید یک انجمن دارید و یکی از کاربران سوالی را مطرح می‌کند. حتی اگر در آینده پاسخ‌های ارزشمندی به این سوال داده شود، در زمان کراول شدن صفحه، ممکن است هیچ پاسخی وجود نداشته باشد و در نتیجه گوگل آن صفحه را دارای محتوای کم‌کیفیت ارزیابی کند.

به یاد داشته باشید که گوگل نمی‌تواند تمام صفحات وب را ایندکس کند. فضای ذخیره‌سازی گوگل محدود است، بنابراین باید محتوای کم‌کیفیت را فیلتر کند.

مرحله ۲: بررسی دستی صفحات تحت تأثیر

یک URL ممکن است با وضعیت «Crawled – Currently Not Indexed» مواجه شود زیرا در گذشته ایندکس شده بود، اما به مرور زمان گوگل تصمیم به حذف آن از ایندکس گرفته است.

اگر به دنبال دلیل این مسئله هستید، ممکن است علت‌های زیر باشد:

• جایگزینی با محتوای با کیفیت بالاتر: همان‌طور که Gary Illyes در توییتر اشاره کرده است، ممکن است محتوای شما با محتوای بهتری جایگزین شده باشد.

• تأثیر الگوریتم جدید: ممکن است الگوریتم جدیدی که به تازگی منتشر شده است، بر ایندکس شدن صفحه تأثیر گذاشته باشد.
• وجود باگ در سمت گوگل: به عنوان مثال، سایت Search Engine Land به دلیل این که گوگل به اشتباه تصور کرده بود سایت هک شده است، از ایندکس خارج شد.

نباید فرض کنید که پس از ایندکس شدن یک صفحه، نیازی به انجام هیچ اقدامی ندارید.

گوگل می‌تواند نحوه ارزیابی محتوای شما را به مرور زمان تغییر دهد. ممکن است محتوای شما به دلیل یک خطا به طور جزئی حذف شده باشد، یا توضیحات محصول تغییر کرده و نسخه جدید با استانداردهای گوگل مطابقت نداشته باشد.

این وضعیت رایج‌تر از آن چیزی است که فکر می‌کنید.

محتوای خود را بررسی کنید و نسخه‌های اخیر را مقایسه کنید – اگر تغییری ایجاد شده باشد، باید از آن مطلع شوید. این تغییرات ممکن است دلیل حذف صفحه از ایندکس باشند. صفحات خود را به طور منظم نظارت کنید و در صورت لزوم بهبودهای لازم را انجام دهید.

برای نظارت آسان بر پوشش ایندکس خود، از ZipTie استفاده کنید – پلتفرم هوش فنی SEO و ایندکسینگ. ZipTie به شما امکان می‌دهد تا تأخیرهای ایندکس و تغییرات هفتگی در میزان محتوای حذف شده را مشاهده کنید. به این ترتیب، اگر چیزی نیاز به بررسی دستی دارد، مطلع خواهید شد.

پس از رفع مشکلات، می‌توانید URLهای تحلیل‌شده را به Google Search Console ارسال کنید تا به گوگل کمک کنید تغییرات را سریع‌تر شناسایی کند.

مرحله ۳: کار بر روی ساختار وب سایت و بهبود لینک سازی داخلی

یکی دیگر از دلایل ممکن برای مواجه شدن با خطای Crawled – Currently Not Indexed ، ساختار ضعیف وب سایت است.

ساختار مناسب وب سایت (Website Architecture) کلید اصلی برای افزایش شانس ایندکس شدن صفحات شماست. این ساختار به ربات‌های جستجو کمک می‌کند تا محتوای شما را کشف کنند و روابط بین صفحات را بهتر درک کنند.

بنابراین، ارائه یک ساختار وب سایت مناسب و اطمینان از وجود لینک‌های داخلی (Internal Links) به هر صفحه‌ای که می‌خواهید ایندکس شود، امری ضروری است.

فرض کنید شما یک صفحه با کیفیت بالا دارید، اما گوگل فقط می‌تواند آن را از طریق نقشه سایت پیدا کند.

گوگل ممکن است به صفحه نگاه کرده و آن را بررسی کند، اما از آنجا که هیچ لینک داخلی به آن وجود ندارد، ممکن است فرض کند که این صفحه ارزش کمتری نسبت به صفحات دیگر دارد. اطلاعات معنایی یا ساختاری برای ارزیابی صفحه در دسترس نیست. این ممکن است یکی از دلایلی باشد که گوگل تصمیم گرفته است بر روی صفحات دیگر تمرکز کند و این صفحه را بعد از بررسی آن از ایندکس خارج کند.

برای کسب اطلاعات بیشتر در مورد ساختار وب سایت، مقاله ما درباره «ساختار وب سایت چیست ؟ (Site Structure)» را مطالعه کنید.

مرحله ۴: محدود کردن محتوای تکراری

محتوای تکراری یکی دیگر از مشکلاتی است که می‌تواند باعث شود گوگل صفحات شما را ایندکس نکند.

شما باید اطمینان حاصل کنید که صفحات شما اصلی و منحصر به فرد هستند. گوگل تمایل دارد محتوای منحصر به فرد و با ارزش را به نمایش بگذارد و به همین دلیل، اگر برخی صفحات مشابه یا تقریباً مشابه باشند، ممکن است تنها یکی از آن‌ها ایندکس شود.

متأسفانه، در برخی موارد، محتوای تکراری اجتناب‌ناپذیر است (برای مثال، نسخه‌های موبایل و دسکتاپ). شما نمی‌توانید به طور کامل بر آنچه در نتایج جستجو ظاهر می‌شود، کنترل داشته باشید، اما می‌توانید به گوگل سرنخ‌هایی درباره نسخه اصلی ارائه دهید.

اگر متوجه شدید که محتوای تکراری زیادی ایندکس شده است، موارد زیر را بررسی کنید:

• تگ‌های کاننیکال (Canonical Tags): این تگ‌های HTML به موتورهای جستجو می‌گویند که کدام نسخه‌ها نسخه‌های اصلی هستند.
• لینک‌های داخلی (Internal Links): اطمینان حاصل کنید که لینک‌های داخلی به محتوای اصلی شما اشاره می‌کنند. گوگل ممکن است از این موضوع به عنوان یک نشانه برای تعیین اهمیت صفحات استفاده کند.
• نقشه‌های سایت XML (XML Sitemaps): اطمینان حاصل کنید که فقط نسخه کاننیکال در نقشه سایت شما قرار دارد.

به یاد داشته باشید که این‌ها تنها سرنخ‌ها هستند و گوگل موظف به پیروی از آن‌ها نیست.

اگر گوگل تگ کاننیکال شما را نادیده بگیرد، می‌توانید این موضوع را با وضعیت «Duplicate, Google chose different canonical than user» در Google Search Console شناسایی کنید.

برای مثال، آدام جنت، یک فریلنسر SEO، یک مورد جالب را با جامعه SEO به اشتراک گذاشت. صفحه او به عنوان «Crawled – Currently Not Indexed» گزارش شده بود زیرا گوگل فکر می‌کرد که این صفحه تکراری است.

علت این که چرا گوگل ممکن است وضعیت «Crawled – Currently Not Indexed» را به جای وضعیت اختصاصی برای محتوای تکراری انتخاب کند، مشخص نیست. یکی از احتمالات این است که وضعیت ممکن است بعداً تغییر کند، پس از آن که گوگل تصمیم بگیرد که آیا وضعیت مناسب‌تری برای صفحه وجود دارد یا خیر.

گزینه دیگر ممکن است یک باگ در گزارش‌دهی باشد. ممکن است گوگل به سادگی در تخصیص وضعیت‌ها اشتباه کرده باشد. متأسفانه، این وضعیت چالش‌برانگیزتر است زیرا «Crawled – Currently Not Indexed» اطلاعات کمتری نسبت به یک وضعیت اختصاصی برای محتوای تکراری به شما می‌دهد.

مرحله ۵: درخواست دستی از گوگل برای بازبینی URLهای خاص شما

اگر با تمامی مشکلات فوق برخورد کردید، می‌توانید صفحات خود را برای ایندکس مجدد ارسال کنید.

برای انجام این کار، مراحل زیر را دنبال کنید:

1. درخواست ایندکسینگ دستی:
   به URL Inspection در Google Search Console بروید، آدرس URL مورد نظر را وارد کرده و بر روی Request Indexing کلیک کنید.

1. استفاده از روش خودکار:
   همچنین می‌توانید از روش خودکار دیگری استفاده کنید. به Indexing → Pages بروید، سپس بر روی “Crawled – Currently Not Indexed” کلیک کنید. تمامی صفحات شناخته شده را انتخاب کرده و بر روی Validate Fix کلیک کنید.

پس از ارسال درخواست، شما می‌توانید مشاهده کنید که اعتبارسنجی آغاز شده است و از وضعیت آن مطلع شوید.

مرحله ۶: استفاده از نقشه سایت موقت (temporary sitemap.xml)

گاهی اوقات، صفحاتی مانند URLهای مقصد ریدایرکت‌ها در گزارش «Crawled – Currently Not Indexed» ظاهر می‌شوند. این موضوع به دلیل ریدایرکت‌های نادرست نیست، بلکه به نحوه‌ی تعامل گوگل با وب‌سایت شما و میزان فراوانی که گوگل وب‌سایت شما را بررسی می‌کند، مربوط می‌شود. ممکن است متوجه شوید که گوگل این URLهای مقصد را بررسی می‌کند اما آن‌ها را به ایندکس خود اضافه نمی‌کند.

برای حل این مشکل، می‌توانید یک نقشه سایت موقت ایجاد کنید. مراحل زیر را دنبال کنید:

• استخراج URLها:
  ابتدا تمامی URLها را از گزارش «Crawled – Currently Not Indexed» استخراج کنید و آن‌ها را با ریدایرکت‌های مشخص شده مطابقت دهید. این کار را می‌توانید با استفاده از Excel یا Google Sheets انجام دهید.

• تولید نقشه سایت:
  سپس، نقشه سایت را ایجاد کنید که می‌توانید با استفاده از ابزارهایی مانند XML Sitemaps این کار را انجام دهید.
• بارگذاری نقشه سایت:
  نقشه سایت موقت را به داشبورد Google Search Console خود آپلود کنید.

این اقدام به گوگل کمک می‌کند تا سریع‌تر URLهای مورد نظر را شناسایی کرده و آن‌ها را به ایندکس خود اضافه کند.

منبع : How to fix “Crawled – Currently Not Indexed” – 6 simple steps!