Google добавил в список краулеров новый user-agent

0 1

Google добавил в список краулеров новый user-agent

Западные специалисты обратили внимание, что Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.

Google добавил в список краулеров новый user-agent

Представитель Google Джон Мюллер уточнил в Twitter, что этот user-agent не является чем-то новым и уже используется Google некоторое время, однако, информация о нем была добавлена в официальный список краулеров только сейчас.

Подробней о процессе верификации можно прочесть в справке Search Console.

Последний раз справочная документация по роботам Google обновлялась в марте текущего года, тогда изменения коснулись краулера Google Favicon.

Источник: searchengines.guru
Оставить комментарий

Мы используем файлы cookie. Продолжив использование сайта, вы соглашаетесь с Политикой использования файлов cookie и Политикой конфиденциальности Принимаю

Privacy & Cookies Policy