Google рассказал, как 500 ошибка влияет на индексацию страниц сайта

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта. 

В ответ на вопрос одного из вебмастеров, Мюллер перечислил  ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google. 

Прослушать ответ Мюллера можно на видео, начиная с 13:48:

Вебмастер рассказал, что  CMS на его сайте была настроена таким образом, чтобы блокировать  «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели. А еще через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на обход Googlebot. Вебмастер спросил у Мюллера, насколько это критично и не грозит ли страницам последующим выпадением из индекса.

На это Джон Мюллер ответил, что никаких никаких строгих пороговых значений по этому вопросу у Google нет. Проверка страниц, отдающих 500 ошибку, повторяется неоднократно. В том случае, если это продолжается довольно долго, индексация замедляется и проводится реже. Если и далее демонстрируется код 500, то такие URL-адреса удаляются из индекса.

«Так что если время от времени на отдельных страницах появляется 500 ошибка, это не имеет большого значения. Мы повторим проверку таких страниц, они останутся проиндексированными, и после следующей проверки все будет в порядке».

Мюллер также пояснил, что одна из причин, почему Google замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. При этом у поисковика нет жестких пороговых значений, при которых Google решает, что сделано много запросов, получено много ошибок, а значит, пора удалять такую страницу из индекса. 

Ранее стало известно, что Google добавил новую функцию, которая позволяет вебмастерам сообщать поиску о проблемах с индексацией на сайте.