Google может объединять поддомены для общего бюджета сканирования
На днях сотрудник Google Джон Мюллер написал в Twitter, что поисковик может объединять поддомены для создания общего бюджета сканирования.
«Возможно, мы уже группируем поддомены вместе для краулингового бюджета – наши системы пытаются выяснить, что принадлежит к одной инфраструктуре. Я подозреваю, что вы можете заметить некоторые колебания в сканировании, но это происходит автоматически, когда наши системы это вычисляют», — объяснил Мюллер.
It's possible we're already grouping the subdomains together for crawl budget — our systems try to figure out which infrastructure belongs together. I suspect you would see some crawling fluctuations there, but that settles down automatically as our systems figure it out.
— ? John ? (@JohnMu) March 31, 2021
Некоторые специалисты думают, что у Google есть отдельный бюджет сканирования для каждого домена, поддомена и т.д. Однако это зависит от конкретного сайта, и Google может группировать (или не группировать) поддомены в целях сканирования.
Напомним, что в июле 2020 года сотрудник Google Мартин Сплитт ответил на частые вопросы по бюджету сканирования. А в августе другой сотрудник поиска, Гэри Илш, заявил, что большинству сайтов не нужно беспокоиться о краулинговом бюджете.