Google не рекомендует использовать robots.txt для блокировки URL с параметрами
Google настоятельно не рекомендует использовать robots.txt для блокировки Блокировка — изменение режима работы машины, вызванное внезапным нарушением нормальных условий эксплуатации индексации или индексирование (от лат. index) могут означать: Индексация (экономика) — средство защиты от инфляции путём привязки к индексу потребительских цен URL с параметрами. Об этом заявил сотрудник поиска Джон Мюллер одна из наиболее распространённых фамилий в германоязычных странах, отвечая на вопрос форма мысли, выраженная в основном языке предложением, которое произносят или пишут, когда хотят что-нибудь спросить, то есть получить интересующую информацию одного из вебмастеров в Twitter.
По словам Мюллера, если используется такой способ блокировки, то Google не может каноникализировать URL-ы, и сайт или веб-сайт (от англ. website: web — «паутина, сеть» и site — «место», буквально «место, сегмент, часть в сети»), — одна или несколько логически связанных между собой веб-страниц; также место теряет всю ценность от ссылок Ссылка — запись в документе, указывающая на другую часть этого документа или на другой документ; Ссылка — депортация, изгнание; Ссылка — в программировании объект, указывающий на определённые на эти страницы любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради).
Вместо этого рекомендуется использовать атрибуты rel=canonical, внутренние ссылки и т.п.
https://twitter.com/JohnMu/status/1192734378302070785
Затем он подробнее объяснил, почему так плохо блокировать эти URL с помощью robots.txt:
«Если страница заблокирована в robots.txt, то мы не увидим rel=canonical и в результате можем выбрать другой URL. Если вы используете robots.txt, то мы будем обрабатывать эти URL так же, как и другие роботизированные страницы (и не будем знать, что находится на странице, поэтому есть вероятность индексации URL без содержимого)».
https://twitter.com/JohnMu/status/1192743124570951680
Напомним, ранее стало известно, что если при попытке получить доступ к файлу robots.txt Googlebot видит ошибку 5xx, то он не будет сканировать сайт.
А если файл именованная область данных на носителе информации robots.txt или Sitemap появляется в результатах последствие цепочки (череды) действий (итог) или событий, выраженных качественно или количественно поиска в широком смысле — стремление добиться чего-либо, найти что-либо; действия субъекта, направленные на получение нового или утерянного (забытого): новой информации (поиск информации), данных,, то это говорит о том, что у сайта проблемы, и он требует улучшений.