جمعه 17 فوریه 2023

طی چند ماه گذشته شاهد افزایشی در مالکان وب سایت و برخی از شبکه های تحویل محتوا (CDN) در تلاش برای استفاده از 404 و دیگر 4xx خطاهای مشتری (اما نه
429) تلاش برای کاهش نرخ خزیدن Googlebot.

نسخه کوتاه این پست وبلاگ این است: لطفا این کار را نکنید. ما اسنادی در مورد چگونگی کاهش نرخ خزیدن Googlebot داریم. در عوض آن را بخوانید و یاد بگیرید که چگونه به طور موثر نرخ خزیدن Googlebot را مدیریت کنید.

بازگشت به اصول اولیه: 4xx خطاها برای خطاهای مشتری هستند

را 4xx خطاهایی که سرورها به کلاینت ها باز می گردند سیگنالی از سرور است که درخواست مشتری به نوعی اشتباه بوده است. اکثر خطاهای این دسته بسیار خوش خیم هستند: خطاهای “یافت نشد”، “ممنوع”، “من یک قوری هستم” (بله، این یک چیز است). آنها هیچ مشکلی را در خود سرور پیشنهاد نمی کنند.

یک استثنا است 429، که مخفف “خیلی از درخواست ها” است. این خطا یک سیگنال واضح برای هر ربات خوش رفتار، از جمله ربات گوگل محبوب ما، است که باید سرعت آن را کاهش دهد زیرا سرور را بیش از حد بارگذاری می کند.

چرا 4xx خطاها برای Googlebot محدود کننده نرخ بد هستند (به جز 429)

خطاهای مشتری دقیقاً همین است: خطاهای مشتری. آنها معمولاً خطایی را با سرور پیشنهاد نمی‌کنند: نه این که بیش از حد بارگذاری شده است، نه اینکه با یک خطای بحرانی مواجه شده است و قادر به پاسخگویی به درخواست نیست. منظور آنها این است که درخواست مشتری به نوعی بد بوده است. هیچ راه معقولی برای معادل سازی برای مثال a وجود ندارد 404 خطا در بارگذاری بیش از حد سرور تصور کنید اگر اینطور بود: شما هجوم می‌آورید 404 خطاهایی از طرف دوست شما که به طور تصادفی به صفحات اشتباهی در سایت شما پیوند می دهد و به نوبه خود Googlebot با خزیدن سرعت خود را کاهش می دهد. این خیلی بد خواهد بود. همینطور است 403، 410، 418.

و دوباره، استثنای بزرگ است 429 کد وضعیت، که به «درخواست‌های بیش از حد» ترجمه می‌شود.

با چه نرخی محدود می شود 4xx به Googlebot انجام می دهد

همه 4xx کدهای وضعیت HTTP (دوباره، به جز 429) باعث می شود محتوای شما از جستجوی Google حذف شود. چه بدتر، اگر فایل robots.txt خود را نیز با a
4xx کد وضعیت HTTP، به گونه ای رفتار می شود که گویی وجود ندارد. اگر قانونی در آنجا داشتید که خزیدن روی لباس های کثیف خود را ممنوع می کرد، اکنون Googlebot نیز در مورد آن می داند. برای هیچ یک از طرفین درگیر عالی نیست.

نحوه کاهش نرخ خزیدن Googlebot، راه درست

ما اسناد گسترده ای در مورد چگونگی کاهش نرخ خزیدن Googlebot و همچنین در مورد نحوه مدیریت Googlebot (و نمایه سازی جستجو) با کدهای مختلف وضعیت HTTP داریم. مطمئن شوید که آنها را چک کرده اید. به طور خلاصه، شما می خواهید یکی از این کارها را انجام دهید:

اگر به نکات یا توضیحات بیشتری نیاز دارید، با ما تماس بگیرید
توییتر یا در انجمن های کمک ما پست کنید.

ارسال شده توسط Gary Illyes