Google: лучший способ блокировки промежуточного сайта – аутентификация
На днях сотрудник Google Джон Мюллер ответил на вопрос о блокировке промежуточного сайта от индексации.
По его словам, оптимальный способ – использовать аутентификацию. Если же сайт уже попал в результаты поиска, то наилучшее решение – инструмент удаления URL + аутентификация.
Blocking it with robots.txt will prevent search engines from seeing the noindex. You'd need to let them see the noindex for it to drop. Better would be to use username/password + use the site-removal for the staging site for a short-term fix.
— ? John ? (@JohnMu) April 5, 2021
Инструмент для удаления URL позволит практически сразу скрыть сайт в результатах поиска, а это даст время на поиск решения.
При использовании директивы disallow в robots.txt страницы сайта могут по-прежнему индексироваться (без сканирования).
Использование аутентификации (логин + пароль) позволяет избежать случайного добавления блокирующих директив в robots.txt или метатеги robots и предотвратить индексацию сайта.
По мнению Мюллера, это «самое лучшее долгосрочное решение для промежуточных сайтов».
The site removal request would hide the staging site in search almost immediately. That would give you time to find a good solution.
Using disallow: in robots.txt could still result in the URLs being indexed (without being crawled), which is possibly the current issue.
— ? John ? (@JohnMu) April 5, 2021
Using authentication (username/password) makes it so that you don't accidentally upload a blocking robots.txt or robots meta tag, and prevents the pages from being indexable. That's the best long-term solution for staging sites.
— ? John ? (@JohnMu) April 5, 2021