گوگل به تازگی و بدون اعلام قبلی، مستندات مربوط به ابزار جدید خود یعنی NotebookLM را آپدیت کرده است. نکته بسیار مهمی که در این آپدیت مشخص شده، این است که این ابزار به دستورات فایل robots.txt سایت شما توجهی نمیکند. این موضوع اهمیت بلاک کردن ربات گوگل را برای وبمستر هایی که میخواهند محتوایشان توسط این ابزار پردازش نشود، دو چندان میکند. در واقع گوگل لیست خزندههایی که توسط کاربران فعال میشوند (user-triggered fetchers) را به روز کرده و به صورت شفاف اعلام کرده است که NotebookLM از دستورات فایل robots.txt پیروی نخواهد کرد. این تغییر که در نگاه اول شاید کوچک به نظر برسد، پیامدهای مهمی برای مدیریت خزش ربات ها و مباحث سئو تکنیکال دارد. این مسئله میتواند روی استراتژی لینک سازی و نحوه ایندکس صفحات شما تاثیر گذار باشد، زیرا محتوایی که بر اساس استراتژی محتوا ی خود قصد داشتید خصوصی بماند ممکن است توسط این ابزار خوانده شود.
ابزار NotebookLM گوگل چیست و چرا Robots.txt را نادیده میگیرد؟
ابزار NotebookLM یک دستیار تحقیق و نویسندگی بر پایه هوش مصنوعی است. کاربران میتوانند آدرس یک صفحه وب را به آن بدهند تا ابزار، محتوای آن صفحه را پردازش کرده و به کاربر اجازه دهد سوالاتی در مورد آن بپرسد یا خلاصهای از آن دریافت کند. این ابزار حتی میتواند به صورت خودکار یک نقشه ذهنی (mind map) از موضوعات اصلی سایت بسازد. دلیل اینکه این ابزار و سایر خزندههای فعال شونده توسط کاربر (User-Triggered Fetchers) دستورات فایل robots.txt را نادیده میگیرند این است که آنها محتوا را برای ایندکس کردن در نتایج جستجو نمیخوانند؛ بلکه به نمایندگی از یک کاربر واقعی در حال تعامل با محتوای شما هستند. این موضوع، بلاک کردن ربات گوگل را از طریق روش های سنتی غیر ممکن میسازد و نیازمند راهکارهای فنی دقیق تری در حوزه سئو تکنیکال است.
آموزش کامل بلاک کردن ربات گوگل NotebookLM
خوشبختانه راه حل موثری برای جلوگیری از دسترسی این ابزار به محتوای سایت شما وجود دارد. گوگل برای این منظور از یک عامل کاربر (User Agent) مشخص به نام Google-NotebookLM استفاده میکند. بنابراین، شما میتوانید با شناسایی و مسدود کردن این عامل کاربر خاص، به هدف خود یعنی بلاک کردن ربات گوگل NotebookLM برسید. در ادامه دو روش عملی برای این کار ارائه میشود:
۱. مسدود سازی با افزونه در وردپرس: اگر از وردپرس استفاده میکنید، یک راه حل ساده استفاده از افزونههای امنیتی مانند Wordfence است. شما میتوانید در تنظیمات این افزونه یک قانون سفارشی (custom rule) تعریف کنید تا هر بازدیدی که با عامل کاربر Google-NotebookLM انجام میشود را مسدود کند. این روش برای کنترل دسترسی ربات ها بدون نیاز به دانش کد نویسی عالی است و میتواند در کنار استراتژی خرید بک لینک به بهبود امنیت و ساختار سایت شما کمک کند.
۲. مسدود سازی از طریق فایل htaccess: راه حل دوم که کمی فنی تر است، استفاده از فایل .htaccess در هاست شماست. شما میتوانید کد زیر را به این فایل اضافه کنید تا هر درخواستی از سمت عامل کاربر Google-NotebookLM به صورت خودکار مسدود (Forbidden) شود. این روش برای کنترل سئو خارجی و دسترسی ربات ها بسیار قدرتمند است.
من، جعفر جلالی، سایت ایران بک لینک را راهاندازی کردم. با تکیه بر تجربیاتی که طی سالها در کسبوکارهای آنلاین به دست آوردهام و همچنین استفاده از منابع اصلی و معتبر انگلیسی، تلاش کردم بهترین مقالات و منابع آموزشی در زمینه سئو را به زبان فارسی گردآوری کنم. هدف من از ایجاد ایران بک لینک این است که به کسبوکارهای آنلاین کمک کنم تا با دسترسی به اطلاعات کاربردی و جامع، به موفقیت بیشتری دست پیدا کنند. امیدوارم که ایران بک لینک بتواند به منبعی قابلاعتماد برای شما تبدیل شود.