Сотрудник Google Джон Мюллер ответил на вопрос, как ошибка 500 может повлиять на индексацию страниц сайта. Мюллер назвал ситуации, при которых ошибка 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google.
Посмотреть ответ Мюллера можно на видео, начиная с отметки 13:48:
Один из вебмастеров во время онлайн-встречи с Джоном Мюллером рассказал, что на их сайте была настроена система, которая блокировала «плохих ботов». Все работало нормально, но после обновления все настройки слетели. Через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на сканирование Googlebot. Вебмастер поинтересовался у Мюллера, как это могло повлиять на видимость сайта в поиске Google.
Мюллер перечислил шаги, как поисковик реагирует на ошибку 500. Если Googlebot сталкивается с кодом ответа сервера 500, то старается попасть на страницы снова и снова. Если ошибка все еще имеет место быть, Google замедляет сканирование. Если спустя время ошибка 500 не исчезает, поисковик удаляет URL-адреса с ошибками из индекса.
Если время от времени на отдельных страницах появляется ошибка 500, в этом нет ничего страшного. Мы попробуем зайти на эти страницы снова, они останутся в индексе.
Далее Мюллер объяснил, что одна из причин, почему Googlebot замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. Также Мюллер добавил, что у поисковика нет жестких значений, при которых Google решает, что сделано много запросов, получено много ошибок, значит, пора замедлять сканирование.
Напомним, ранее Джон Мюллер рассказал, что Google отфильтровывает не весь бот-трафик в Search Console.
Источник: Search Engine Journal