Google: как скрыть сайт из результатов поиска

Дек 3, 2021

Google опубликовал новое видео в серии #AskGooglebot, в рамках которой сотрудник компании Джон Мюллер отвечает на частые вопросы вебмастеров. В новом выпуске он рассказал, как скрыть сайт из результатов поиска.

Всего есть три способа:

Использовать пароль;
Заблокировать сканирование;
Заблокировать индексирование.

Блокирование контента от Googlebot не является нарушением рекомендаций для вебмастеров, если контент также блокируется от пользователей. Например, если для того, чтобы избежать сканирования, используется пароль, то этот метод также должен использоваться и для пользователей.

Рассмотрим подробнее.

1. Защита паролем

Блокировка паролем часто является самым лучшим подходом, если нужно, чтобы сайт оставался конфиденциальным. Пароль гарантирует, что ни поисковые системы, ни случайные пользователи интернета не смогут увидеть контент.

Защита паролем – это обычная практика для разрабатываемых веб-сайтов. Публикация сайта – простой способ поделиться незавершенной работой с клиентами, а пароль позволяет запретить Google доступ к сайту, который еще не готов к просмотру.

2. Блокировка сканирования

Еще один способ закрыть доступ к сайту для Googlebot – это запретить сканирование с помощью файла robots.txt.

При использовании этого метода пользователи могут получить доступ к сайту по прямой ссылке, но поисковые системы сделать этого не смогут.

Однако это не лучший способ, поскольку поисковые системы могут индексировать сайт без доступа к контенту. Такое случается довольно редко, но все же.

3. Блокировка индексации

Третий вариант – это запретить поисковым системам индексировать сайт. Для этого нужно добавить метатег noindex на страницы.

Директива noindex сообщает поисковым системам, что страница не должна индексироваться. При этом пользователи по-прежнему могут видеть страницу.

Подводя итог, Мюллер заявил:

«В целом для конфиденциального контента наша рекомендация – использовать защиту паролем. Проверить, работает ли он, несложно, и никто не сможет получить доступ к контенту. Блокировка сканирования или индексирования – это хорошие варианты, когда контент не является конфиденциальным. Или если нужно, чтобы определенные части сайта не появлялись в поиске».