Google обновил спецификации файла robots.txt
В этом месяце Google обновил справочный документ «Спецификации файла robots.txt», в котором описано, как поисковик обрабатывает эти файлы.
Руководство теперь содержит больше примеров и объяснений по различным конфигурациям robots.txt.
Фрагмент обновленного документа:
Обновлением спецификаций занимались сотрудники Google Гэри Илш и Лиззи Харви.
Заметил апдейт один из специалистов отрасли:
Robots.txt docs are full of new delights thanks to @methode and @LizziHarvey's on-going work to make robots protocol an internet standard.
The latest additions include explicit details on the files for IDNs, IP-addresses, and port numbered hostnames. https://t.co/Ww9clyCo2U pic.twitter.com/jH8yadJ972— Jamie Indigo ????? 100% Human (@Jammer_Volts) April 26, 2021
Обновленный документ уже переведен на русский язык. Это было сделано 15 апреля. В англоязычную версию изменения были внесены 7 апреля.
В последний раз этот документ значительно обновлялся в 2019 году.
О том, что в Google собираются переработать документацию по файлу robots.txt, стало известно в марте.