Google: не блокируйте страницы повторно после разрешения на сканирование для учета noindex

Сотрудник Google Гэри Илш назвал «глупой идеей» повторную блокировку страниц от индексирования в robots.txt после того, как их сканирование было временно разрешено (после блокировки), чтобы поисковик увидел атрибут noindex.

Обсуждение на эту тему завязалось после очередного твита Илша. Он опубликовал напоминание о том, что краулеры, подчиняющиеся директивам в robots.txt, не увидят noindex на странице, если эта страница закрыта от сканирования.

После этого один из специалистов написал, что в SEO-сообществах он часто видит рекомендацию временно разблокировать страницу, чтобы краулеры могли ее просканировать и увидеть noindex, а затем снова заблокировать ее для поисковых роботов. Он отметил, что с его точки зрения, это не имеет смысла.

Илш согласился с ним и написал, что он бы не добавлял повторно директиву disallow на страницы после того, как они были просканированы. «Это звучит как глупая идея».