Google: для деиндексации страниц используйте noindex, а не robots.txt
На днях сотрудник Google Джон Мюллер напомнил в Twitter, что если нужно убрать страницы из поиска, т.е. деиндексировать их, то для этого следует использовать noindex, а не robots.txt.
Он также отметил, что деиндексировать нужно только те страницы, которые не должны ранжироваться. В противном случае, лучше поработать над улучшением страниц, а не убирать их из поиска.
Hi @JohnMu, is there a way to un-index +10K URLs that are basically a signup page with GET parameters that serve a redirection purpose after the authentication?
Example: `/signup/?redirect=/some/page/I/came/from`
It's already blocked by robots, still indexed though.— Aymane Sennoussi ? (@aysennoussi) March 8, 2021
Why would you need to unindex them? If they're ranking for queries you care about, you should improve your other pages. If they're not ranking, then ignore them. (Also, to unindex, don't block with robots.txt, use noindex instead.)
— ? John ? (@JohnMu) March 8, 2021
Другими словами:
- Деиндексируйте страницы только тогда, если они не ранжируются по значимым для вас запросам;
- Если эти запросы имеют для вас значение, то улучшайте страницы, а не деиндексируйте их;
- Если вы решили всё же деиндексировать URL, то используйте noindex, а не robots.txt.
Напомним, что директива noindex не влияет на сайт после удаления.
Добавим также, что Google не рекомендует использовать noindex для временно отсутствующих товаров.