GoogleBot не использует Nutch
На днях SEO-консультант Бритни Мюллер (Britney Muller) заметила нового агента пользователя – Googlebot/Nutch-1.7. Она написала об этом в Twitter и попросила сотрудника Google Джона Мюллера прокомментировать, действительно ли такой user-agent существует.
Is Googlebot/Nutch-1.7 an official Googlebot crawler?
Seeing some mixed info online (possibly a rarer large crawler for big websites)??
IP DNS Lookups confirm that these are not from googlebot[dot]com or google[dot]com properties? cc: @JohnMu
Thanks!
— Britney Muller (@BritneyMuller) October 1, 2020
По словам Мюллера, Google вообще не использует Nutch в агентах пользователя Googlebot – ни для поиска, ни для других вариантов использования общей инфраструктуры.
I just double-checked to be sure :). We don't use "nutch" at all in any of the Googlebot user-agents we use for search or for the other uses of the shared infrastructure.
— ? John ? (@JohnMu) October 2, 2020
Поэтому, если в журналах сервера появился такой агент пользователя, то это не настоящий Googlebot, и при необходимости его можно заблокировать.