Анализ выдачи Яндекса: шторм и изменение логики апдейтов впервые за 8 лет
Содержание страницы
В последние несколько недель SEO-специалисты замечают сильный шторм в выдаче Яндекса.
Похоже, Яндекс изменил логику апдейтов. Исчезло классическое разделение индекса на новостной (80 часов ≈ 3 дня) и основной. Так считает Дмитрий Севальнев, совладелец и руководитель отдела SEO и рекламы «Пиксель Плюс».
Дмитрий Севальнев,
«Пиксель Плюс» Все SEO-специалисты знают, что апдейты в Яндексе случаются 1 раз в 3-4 дня и поисковая система «порциями» выкладывает новые документы в свою базу данных. А еще есть новостной бот, его называют «быстробот», он отвечает за индексацию свежих результатов. По крайней мере, именно так было «всегда», а новостной бот появился еще в далеком 2012 году.
Что изменилось?
Похоже, что больше нет классического разделения индекса на новостной (80 часов ≈ 3 дня) и основной, говорит Дмитрий. Типичный путь нового URL, который был проиндексирован быстроботом Яндекса, был таким:
А типичный апдейт Яндекса с разбивкой документов на дату индексации выглядел следующим образом:
На скриншоте оранжевым прямоугольником выделены документы, которые относятся к новостной базе, далее идет «пропасть» в 1-3 дня. Документы, проиндексированные в эти даты, Яндексу как бы неизвестны.
Далее видно, что начиная с 28 декабря, идут документы, которые уже находятся в основном индексе поисковой системы.
Стоит также обратить внимание и на размер баз: новостная совсем «небольшая» – десятки или сотни тысяч страниц за сутки, а основная – десятки миллионов URL, отмечает Дмитрий.
На текущий момент (IV квартал 2020) ситуация кардинально изменилась:
- Больше нет «склейки» из нескольких дат с нулевым числом проиндексированных документов.
- Количество URL, по которым осуществляется поиск за последние 3-5 дней, соизмеримо по количеству с другими датами – десятки миллионов.
Зачем внесены изменения?
Архитектура базы данных Яндекса была устаревшей относительно Google, который уже давно может включать URL в индекс по запросу, не дожидаясь текстового апдейта.
Это свойство базы данных Google получило название «непрерывный индекс». Фактически, новые документы просто дописывались в основную базу без дополнительной процедуры апдейта.
В беседах с представителями Яндекса проскакивала мысль, что этот успех важно повторить, но это крайне сложная инженерная задача. Если она была успешно решена, то мы поздравляем коллег!
В конечном счете, данный подход позволит Яндексу повысить качество поиска за счет более быстрой индексации новых документов и отсутствия «пустого окна дат» (см. выше)», – говорит Дмитрий.
Быстрый поиск новостных результатов
В мае 2020 года SEO-эксперт Сергей Людкевич предложил способ «быстрого определения быстроботовской примеси». В частности, в мае 2020 новостные результаты проходили кворум даже по запросам со словами, которые полностью отсутствовали на странице, что говорило об особенном статусе этих документов.
«На момент написания новости указанное выше свойство у недавно проиндексированных документах – уже отсутствует. Что также указывает на сильные изменения, которые произошли в Яндексе», – утверждает Дмитрий.
Но исключить новостные результаты из ТОПа все же возможно – используя оператор «date» с указанием даты, например, на 3-7 дней ранее текущей.
Как это использовать специалистам?
Изменение не сильно коснется тех, кто ранее никогда не испытывал сложностей с индексацией своего сайт. Корректировки архитектуры БД могут быть крайне важны тем, кто:
- работает с новостными проектами и привлекает трафик по событийным запросам;
- устраняет сложности с индексацией крупных проектов.
Текущий перманентный шторм в Яндексе
Дмитрий не исключает, что текущий постоянный шторм в выдаче Яндекса связан, в том числе, и с новой архитектурой, а не только массовым применением алгоритма «Многоруких бандитов», который, в свою очередь, может использоваться и для поиска накрутчиков поведенческих метрик и применения нового фильтра.
Напомним, предыдущие сильные колебания в выдаче Яндекса были замечены в апреле и в июле. Весной шторм примерно в равной степени коснулся как информационных, так и коммерческих запросов (отдельные выборки), что вероятно свидетельствовало об изменении всей формулы целиком.
Летнее изменение выдачи представители Яндекса объяснили тем, что это связано с работой обновленного алгоритма по определению релевантности.
Отметим, что изменения Яндекса и других поисковых систем будут обсуждаться 18 ноября 2020 в секции «Тренды поискового маркетинга 2021» на конференции Optimization.