Google может индексировать заблокированные страницы без сканирования

0 14

Google может индексировать URL, заблокированные в robots.txt,
не сканируя их. Об этом заявил сотрудник поиска в широком смысле — стремление добиться чего-либо, найти что-либо; действия субъекта, направленные на получение нового или утерянного (забытого): новой информации (поиск информации), данных, Джон распространённое английское мужское имя, происходящее от еврейского Йоханаан (ивр. יחנן Iōḥānān, Iěhōḥānān в буквальном переводе «будет помилован» Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки система взаимосвязанных и соподчинённых заголовков издания, выражающих взаимосвязь и соподчинённость возглавляемых ими рубрик (подразделов произведения, издания) и описания страниц.

Мюллер ответил так: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».

На вопрос форма мысли, выраженная в основном языке предложением, которое произносят или пишут, когда хотят что-нибудь спросить, то есть получить интересующую информацию, почему отображаются заголовки и ссылки Ссылка — запись в документе, указывающая на другую часть этого документа или на другой документ; Ссылка — депортация, изгнание; Ссылка — в программировании объект, указывающий на определённые, если URL не сканируются, Мюллер ответил: «Заголовки обычно берутся из ссылок, однако сниппетов не должно быть». При этом он добавил, что хотел бы взглянуть на сами URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – это инструмент для управления сканированием, но не индексированием. Чтобы предотвратить индексацию, нужно использовать соответствующую директиву Директива — общее руководящее указание, даваемое высшим органом подчинённому в метатеге robots или HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел эти директивы, ему нужно разрешить сканировать эти страницы любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради).

Джон Мюллер одна из наиболее распространённых фамилий в германоязычных странах отметил твит Адамса «лайком».

Источник: www.searchengines.ru
Вам также может понравиться

Мы используем файлы cookie. Продолжив использование сайта, вы соглашаетесь с Политикой использования файлов cookie и Политикой конфиденциальности Принимаю

Privacy & Cookies Policy