Google может частично индексировать основной контент страниц

Специалист по техническому SEO и R&D-менеджер Onely Томек Рудзки (Tomek Rudzki) выяснил, что Google индексирует не весь контент тех страниц, которые содержатся в его индексе. 

С помощью программного обеспечения Onely он установил, что Google обычно пропускает части контента, даже если это чистый HTML. Нередко Google индексирует основной контент страниц, а менее важные части, такие как похожие товары или информация о доставке на страницах коммерческих сайтов, пропускает. 

Однако Рудзки выяснил, что Google также может пропускать основной контент. И речь может идти о тысячах частично проиндексированных страниц. 

Так, на сайте крупного ритейлера Target у 23% проиндексированных страниц не проиндексировано описание основного товара. Поэтому Google ранжирует одну из четырёх страниц товаров c Target.com, ориентируясь на другие сигналы, а не основной контент. 

И это, не учитывая 9,28% страниц в файле Sitemap этого сайта, которые не индексируются вообще, даже частично. 

При этом такая ситуация наблюдается не только по Target, но и по ряду других крупных сайтов: 

• Возможные причины 

По мнению Рудзки, эта ситуация может быть вызвана следующими причинами: 

• Алгоритмы Google не распознают основной контент. 
• Google решает, что это дублированный контент. 
• На стороне Google есть какие-то неизвестные баги. 

Рудзки предполагает, что в случае Target.com причина, скорее всего, во втором пункте. Интернет-магазины обычно используют описания товаров, предоставляемые производителями. Поэтому Google, возможно, сталкивался с этими описаниями ранее, а на этот раз решил их проигнорировать и не индексировать. 

• Выводы

Для ранжирования страниц Google использует тысячи сигналов. Однако самым важным из них является релевантность. 

Чтобы высоко ранжироваться в Google, нужно убедить поисковую систему, что страница релевантна запросу пользователя. Если же Google не индексирует основной контент страницы, то скорее всего, он не считает её релевантной. 

При этом Рудзки отметил, что это может быть и проблема ранжирования, которое тесно связано с индексированием. 

Со всеми данными исследования можно ознакомиться в блоге Onely.