Google: как заблокировать индексацию файлов Robots.txt и Sitemap
Сотрудник Google Джон распространённое английское мужское имя, происходящее от еврейского Йоханаан (ивр. יחנן Iōḥānān, Iěhōḥānān в буквальном переводе «будет помилован» Мюллер дал совет может означать: Совет — наставление, напутствие, рекомендация, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации или индексирование (от лат. index) могут означать: Индексация (экономика) — средство защиты от инфляции путём привязки к индексу потребительских цен.
Совет Мюллера одна из наиболее распространённых фамилий в германоязычных странах был вызван твитом другого специалиста работник, выполнение обязанностей которого предусматривает наличие начального, среднего или высшего профессионального (специального) образования или хороших практических знаний и/или практического из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.
Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF— Gary "鯨理／경리" Illyes (@methode) November 6, 2019
В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов именованная область данных на носителе информации robots.txt и sitemap. Также он заметил:
«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того Республика (фр. République togolaise) — государство в Западной Африке, граничащее с Ганой на западе, Бенином на востоке и Буркина-Фасо на севере, что у вас действительно очень плохой сайт и его нужно срочно улучшить».
Так что если специалисты столкнулись с проблемой в широком смысле — сложный теоретический или практический вопрос, требующий изучения, разрешения; в науке — противоречивая ситуация, выступающая в виде противоположных позиций в объяснении, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом или веб-сайт (от англ. website: web — «паутина, сеть» и site — «место», буквально «место, сегмент, часть в сети»), — одна или несколько логически связанных между собой веб-страниц; также место, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.