گوگل ابزار محدود کننده نرخ خزش (Crawl Rate Limiter ) را از سرچ کنسول حذف می کند

Crawl Rate Limiter یا ابزار محدود کننده خزش در سرچ کنسول تقریباً 15 سال قبل در سال 2008 معرفی شد.
وظیفه این ابزار این بود که اگر ربات های گوگل بیشتر از حد یک سایت را خزش می کردند،، مدیر سایت بتواند آن را کنترل کند.
دقیقاً مانند قفلی که کلیدش دست شماست تا هر وقت بخواهید بتوانید در را باز کنید تا ربات های گوگل بتوانند صفحات سایت شما را بخزند.

اگر Crawl Rate Limiter روی حداکثر تنظیم شود

اگر Crawl Rate Limiter یا ابزار خزش مدام به سایت من یا شما سر بزند، بعد از مدتی سایت داون می شود.
هر کدام از سایت هایی که من و شما داریم، توانایی تحمل تعداد مشخصی بازدید روزانه یا بازدید هم زمان را دارد؛
از حد توان سرور که فرا تر برود، سایت از دست رس خارج می شود.
قبل از منتشر کردن این ابزار در سرچ کنسول، برخی از مدیران سایت ها این خزیدن بیش از حد ربات های گوگل را تجربه کرده بودند.
این اتفاق در نهایت به این منجر شد که گوگل ابزار Crawl Rate Limiter را در سرچ کنسول منتشر کند.
به گفته گوگل، درخواست‌ها برای محدود کردن خزیدن معمولاً حدود یک روز طول می‌کشد تا اعمال شود و به مدت 90 روز به قوت خود باقی می ماند.

چرا گوگل ابزار محدود کننده خزش را حذف می کند؟

در این اطلاعیه آمده است که الگوریتم‌های خزیدن به حالتی رسیده‌اند که Googlebot می‌تواند به طور خودکار تشخیص دهد که سرور در حال رسیدن به ظرفیت است و اقدامات فوری برای کاهش سرعت خزیدن انجام دهد.
در واقع هم اکنون گوگل به گفته خودش، می تواند تشخیص دهد که هر سرور چه توانی دارد و این توان آیا به حد نهایتش رسیده است یا خیر.
علاوه بر این، گوگل اعلام کرد که این ابزار به ندرت مورد استفاده قرار می‌گرفت و زمانی که از آن استفاده می‌شد، نرخ خزیدن معمولاً روی پایین‌ترین حد تنظیم می‌شد.

تجربه کاربران بهتر می شود

حذف این ابزار استفاده از سرچ کنسول را برای کاربران راحت تر می کند، چرا که باعث خلوت تر شدن کنسول جستجو خواهد شد.
مدیرانی که همچنان با نرخ خزیدن Googlebot مشکل دارند، همچنان می‌توانند از فرم گزارش Googlebot برای ارسال بازخورد به Google استفاده کنند.
میتوانید اطلاعیه گوگل را در این لینک مطالعه کنید.

اشتراک گذاری: