Google не рекомендует использовать robots.txt для блокировки URL с параметрами

0 0

Google настоятельно не рекомендует использовать robots.txt для блокировки Блокировка — изменение режима работы машины, вызванное внезапным нарушением нормальных условий эксплуатации индексации или индексирование (от лат. index) могут означать: Индексация (экономика) — средство защиты от инфляции путём привязки к индексу потребительских цен URL с параметрами. Об этом заявил сотрудник поиска Джон Мюллер одна из наиболее распространённых фамилий в германоязычных странах, отвечая на вопрос форма мысли, выраженная в основном языке предложением, которое произносят или пишут, когда хотят что-нибудь спросить, то есть получить интересующую информацию одного из вебмастеров в Twitter.

По словам Мюллера, если используется такой способ блокировки, то Google не может каноникализировать URL-ы, и сайт или веб-сайт (от англ. website: web — «паутина, сеть» и site — «место», буквально «место, сегмент, часть в сети»), — одна или несколько логически связанных между собой веб-страниц; также место теряет всю ценность от ссылок Ссылка — запись в документе, указывающая на другую часть этого документа или на другой документ; Ссылка — депортация, изгнание; Ссылка — в программировании объект, указывающий на определённые на эти страницы любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради).

Вместо этого рекомендуется использовать атрибуты rel=canonical, внутренние ссылки и т.п.

https://twitter.com/JohnMu/status/1192734378302070785

Затем он подробнее объяснил, почему так плохо блокировать эти URL с помощью robots.txt:

«Если страница заблокирована в robots.txt, то мы не увидим rel=canonical и в результате можем выбрать другой URL. Если вы используете robots.txt, то мы будем обрабатывать эти URL так же, как и  другие роботизированные страницы (и не будем знать, что находится на странице, поэтому есть вероятность индексации URL без содержимого)».

https://twitter.com/JohnMu/status/1192743124570951680

Напомним, ранее стало известно, что если при попытке получить доступ к файлу robots.txt Googlebot видит ошибку 5xx, то он не будет сканировать сайт.

А если файл именованная область данных на носителе информации robots.txt или Sitemap появляется в результатах последствие цепочки (череды) действий (итог) или событий, выраженных качественно или количественно поиска в широком смысле — стремление добиться чего-либо, найти что-либо; действия субъекта, направленные на получение нового или утерянного (забытого): новой информации (поиск информации), данных,, то это говорит о том, что у сайта проблемы, и он требует улучшений.

Источник: www.searchengines.ru
Вам также может понравиться

Мы используем файлы cookie. Продолжив использование сайта, вы соглашаетесь с Политикой использования файлов cookie и Политикой конфиденциальности Принимаю

Privacy & Cookies Policy