خطای Page Indexed without content یکی از مواردی است که میتواند در سرچ کنسول (Search Console) حسابی نگران کننده باشد. جان مولر، متخصص گوگل، میگوید این خطا معمولا به مشکلات جاوا اسکریپت ربطی ندارد.
بلکه بیشتر به این دلیل رخ میدهد که سرور یا شبکه توزیع محتوا (CDN)، دسترسی ربات گوگل (Googlebot) را مسدود کرده است. در ادامه به شما میگوییم چه چیزهایی را باید چک کنید.
خطاهای “صفحه ایندکس شده بدون محتوا” معمولا نشان دهنده این است که سرور یا CDN، ربات گوگل را بلاک کرده است.
صفحاتی که با این مشکل مواجه میشوند، به تدریج از ایندکس گوگل حذف خواهند شد. برای همین، حل کردن این مشکل خیلی فوری و ضروری است.
این مسدودیت ها اغلب بر اساس IP هستند و شبیه سازی آنها خارج از ابزارهای تست سرچ کنسول سخت است.
جان مولر، به عنوان یکی از حامیان جستجوی گوگل، به سوالی درباره خطای ‘Page Indexed without content’ در سرچ کنسول پاسخ داد.
او توضیح داد که این مشکل معمولا از مسدودیت در سطح سرور یا CDN ناشی میشود و به جاوا اسکریپت مربوط نیست.
این گفتگو در Reddit شروع شد، جایی که یک کاربر گزارش داد صفحه اصلی سایتش بعد از دیدن این خطا، از رتبه ۱ به ۱۵ سقوط کرده است.
تشخیص دلیل اصلی خطا توسط جان مولر
چه خبر شده؟ جان مولر آمده و یک تصور اشتباه را درباره دلیل خطای Page Indexed without content در سرچ کنسول گوگل روشن کرده است.
مولر اینطوری توضیح داد که معمولا این ارور یعنی سرور یا شبکه توزیع محتوا (CDN) دارد جلوی گوگل را میگیرد تا نتواند محتوا را ببیند.
خیلی ها فکر میکنند مشکل از کدهای پیچیده برنامه نویسی است اما اصلا ربطی به جاوا اسکریپت ندارد.
این مسدودسازی معمولا خیلی سطح پایین است و گاهی بر اساس آدرس IP ربات گوگل انجام میشود.
واسه همین خیلی سخت است که بخواهید با ابزارهایی خارج از خود سرچ کنسول این مورد را تست کنید و بفهمید مشکل کجاست.
آن کاربر Reddit هم بیکار ننشسته بود و کلی راه را برای پیدا کردن مشکل امتحان کرده بود.
مثلا با دستورات Curl سعی کرد صفحه را دقیقا مثل گوگل بات باز کند تا ببیند چه واکنشی نشان میدهد.
حتی چک کرد ببینه کدهای سایت بلاک شده اند یا نه و از ابزار Rich Results Test هم استفاده کرد.
جالب اینجاست که ابزارهای دسکتاپ ارور Something went wrong میدادند ولی در نسخه موبایل همه چی درست کار میکرد.
مولر تاکید کرد که روش های معمولی که برای تست سایت استفاده میکنیم، نمیتوانند این مدل بلاک شدن ها را تشخیص دهند.
او یک هشدار جدی هم داد و گفت این یعنی صفحات سایتتان به زودی یا شاید همین الان دارند از ایندکس گوگل حذف میشوند.
پس خیلی مهم است که این موضوع را به عنوان یک مشکل اورژانسی ببینید و اگر تخصص ندارید از مشاوره سئو کمک بگیرید تا سریع حلش کنید.
سایتی که به مشکل خورده بود از سیستم مدیریت محتوای Webflow و کلودفلر (Cloudflare) استفاده میکرد.
صاحب سایت میگفت صفحه اصلیش قبلا خیلی عادی ایندکس میشد و هیچ تغییری هم اخیرا در ساختار سایت نداده بودند.
چرا مسدود شدن گوگل بات توسط سرور اهمیت حیاتی دارد؟
من در این سالها بارها درباره مشکل مسدود شدن گوگل بات توسط سرور صحبت کردهام.
گاهی تنظیمات CDN یا سرور طوری است که ناخواسته دسترسی رباتهای گوگل را میبندد، بدون اینکه کاربران عادی متوجه شوند.
این مسدودسازیها معمولاً روی رنجهای IP خاص اعمال میشوند، برای همین ابزارهای تست معمولی یا خزندههای متفرقه نمیتوانند مشکل را نشان دهند.
وقتی گوگل گزارش “ایندکس شده بدون محتوا” را اضافه کرد، در راهنمای خود نوشت که این یعنی گوگل نتوانسته محتوا را بخواند.
نکته مهم اینجاست که این مشکل ربطی به فایل robots.txt ندارد و معمولاً ریشه در لایههای فنی و سئو تکنیکال سایت دارد.
موضوع کلودفلر (Cloudflare) برای من خیلی جالب بود. قبلاً هم دیده بودم که مولر به مشکلات مشابه در زیرساختهای اشتراکی اشاره کرده بود.
اخیراً هم قطعی کلودفلر باعث افزایش خطاهای سرور و افت خزش شده بود که نشان میدهد ساختار وب سایت چقدر به این سرویسها وابسته است.
اما این مورد خاص به نظر میرسد ناشی از تنظیمات فایروال باشد که با IP گوگل مثل یک تهدید برخورد میکند.
هنوز هم بهترین راه برای پیدا کردن این مشکلات، استفاده از ابزار URL Inspection در چک لیست سئو Google است.
اگر ابزارهای گوگل خطا میدهند ولی سایت برای شما باز میشود، شک نکنید که سرور دارد گوگل را بلاک میکند.
اقدامات و نگاه به آینده
اگر با این خطا مواجه شدید، سریعاً تنظیمات سرور و CDN را چک کنید تا ببینید آیا IP های گوگل محدود شدهاند یا نه.
گوگل لیست IP های خودش را منتشر میکند، پس میتوانید چک کنید که آیا قوانین امنیتی سایت شما مانع ورود آنها شده است یا خیر.
فراموش نکنید که ابزارهای تست خارجی نمیتوانند بلاک شدن IP های گوگل را تشخیص دهند.
مخصوصاً اگر از کلودفلر استفاده میکنید، تنظیمات مدیریت ربات و فایروال را دقیق بررسی کنید.
گاهی اوقات یک آپدیت هسته یا تغییرات خودکار در تنظیمات امنیتی، باعث ایجاد این مشکلات میشود.
اگر در حل این مشکل تخصص کافی ندارید، حتما از خدمات مشاوره سئو استفاده کنید تا ترافیک سایتتان از دست نرود.
منبع : Google’s Mueller Explains ‘Page Indexed Without Content’ Error
من، جعفر جلالی، سایت ایران بک لینک را راهاندازی کردم. با تکیه بر تجربیاتی که طی سالها در کسبوکارهای آنلاین به دست آوردهام و همچنین استفاده از منابع اصلی و معتبر انگلیسی، تلاش کردم بهترین مقالات و منابع آموزشی در زمینه سئو را به زبان فارسی گردآوری کنم. هدف من از ایجاد ایران بک لینک این است که به کسبوکارهای آنلاین کمک کنم تا با دسترسی به اطلاعات کاربردی و جامع، به موفقیت بیشتری دست پیدا کنند. امیدوارم که ایران بک لینک بتواند به منبعی قابلاعتماد برای شما تبدیل شود.