Google упраздняет инструмент ограничения скорости краулеров в Search Console

Компания Google объявила о прекращении поддержки инструмента для ограничения скорости краулеров в консоли Search Console. Инструмент существовал почти десять лет, свою работу он прекратит 8 января 2024.

Одна из причин такого решения – это снижение эффективности ограничителя скорости краулеров, на введение лимита могло уходить больше суток.

Теперь скорость сканирования регулируется автоматически. Для поискового робота Googlebot по-прежнему будет доступен специальный отчет, в котором будут фиксироваться экстренные ситуации и нестандартное поведение робота.

Для управления скоростью сканирования можно использовать корректные ответы сервера, следуя рекомендациям Google.

По ссылке вы найдете все новости про Google.