Google: это нормально, если 20% сайта не индексируются

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос, связанный с неполной индексацией сайта. В частности, когда 20% контента сайта не попадают в индекс поисковой системы.

Он также поделился своим мнением о том, как качество сайта в целом может влиять на его индексацию.

Специалист задал следующий вопрос:

«20% моих страниц не индексируются. Google находит их, но не сканирует. Может ли это быть связано с потенциальной перегрузкой сервера? Или же с качеством страницы?».

Мюллер ответил, что на индексацию могут влиять оба фактора. При этом, если речь идет о небольшом сайте, то в большинстве случаев причина не связана с бюджетом сканирования.

Если же говорить о сайте с миллионами страниц, то ограниченный бюджет сканирования уже может выступать возможной причиной. Более мелких сайтов это обычно не касается.

Влияние качества сайта в целом

Что касается качества сайта в целом, то этот фактор определенно может влиять на сканирование и индексирование. Однако это не обязательно что-то, связанное с отдельными URL.

Например, если на сайте не индексируются пять URL, это не значит, что Google рассматривает их как страницы низкого качества. Это больше связано с оценкой сайта в целом – если с точки зрения Google у него не очень высокое качество, то поисковик не будет индексировать весь контент. Если же страница не проиндексирована, то Google не знает, высокое у нее качество или низкое.

Таким образом, если это небольшой сайт, значительное количество страниц которого не индексируется, то стоит попробовать разобраться с качеством сайта в целом и не слишком фокусироваться на технических проблемах этих страниц.

Влияние технических факторов

По мнению Мюллера, на сегодняшний день у большинства сайтов в техническом плане все в порядке.

«Если вы используете популярную CMS, то сложно сделать что-то не так. Поэтому чаще это связано с качеством сайта в целом [частичная индексация контента]», — объяснил Мюллер.

Это нормально, если 20% сайта не индексируются

По словам Мюллера, если 20% сайта не индексируются, то это в пределах нормы.

«Касаемо индексирования также важно помнить, что это вполне нормально, если мы не индексируем весь контент на сайте. Если вы посмотрите на любой крупный сайт или даже сайт среднего или небольшого размера, то увидите колебания в индексации. Мы никогда не индексируем 100% всего, что есть на сайте.

Поэтому, если у вас сотня страниц и 80 из них индексируются, тогда я бы не рассматривал это как проблему, требующую решения. Иногда так бывает на конкретный момент. Со временем, когда вы получите, к примеру, 200 страниц, а мы будем индексировать 180 из них, этот процент станет немного меньше. При этом важно помнить, что мы никогда не индексируем 100% всего, о чем знаем».

Выводы:

• Если 20% сайта не индексируются – это нормально;
• Технические проблемы редко влияют на индексацию;
• Качество сайта в целом может влиять на долю индексируемого контента;
• Количество индексируемых страниц подвержено колебаниям;
• Небольшим сайтам обычно не нужно беспокоиться о бюджете сканирования.

Прослушать вопрос к Мюллеру и его ответ на него можно с отметки 27:26 мин на видео:

Напомним, что в 2017 году сотрудник Google Гэри Илш опубликовал подробный пост со всей основной информацией о краулинговом бюджете, включая факторы, влияющие на него, и FAQ.

Другие материалы по теме:

• Выпуск Google SEO Mythbusting на тему бюджета сканирования
• Google опубликовал руководство по управлению лимитом на сканирование для крупных сайтов
• Google: большинству сайтов не нужно беспокоиться о бюджете сканирования