Google перестанет поддерживать директиву noindex в robots.txt

Начиная с 1 сентября Google перестанет поддерживать недокументированные и неподдерживаемые правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву Директива — общее руководящее указание, даваемое высшим органом подчинённому noindex в файле robots.txt.

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд происходит от глагола «разряжать» или от глагола «разрежать», имеет множество значений в различных областях устаревшего весь код, который обрабатывает неподдерживаемые и неописанные в документации это совокупность данных и документов правила правило в зависимости от ударения и контекста может обозначать следующее: Правило — требование для исполнения неких условий (норма на поведение) всеми участниками какого-либо действия (игры, (такие, как noindex), 1 сентября девятый месяц григорианского календаря, один из четырёх григорианских месяцев с тридцатью днями 2019 года», — говорится в сообщении компании.

В качестве альтернативы директиве noindex в robots.txt Google предлагает
использовать следующие варианты:

• Noindex в метатегах robots;
• Коды взаимно однозначное отображение конечного упорядоченного множества символов, принадлежащих некоторому конечному алфавиту, на иное, не обязательно упорядоченное, как правило более обширное множество ответа сервера 404 и 410;
• Disalow в robots.txt;
• Инструмент удаления URL в Search Console;
• Защиту паролем. Если на странице любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради) не используется разметка для платного контента, то использование логина и пароля условное слово или набор знаков, предназначенный для подтверждения личности или полномочий для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла именованная область данных на носителе информации robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.