Оптимизация краулингового бюджета

На днях в новостной ленте промелькнула заметка о том, что сотрудник компании Google Гэри Илш в своем твиттере «» (Twitter, от англ. to tweet — «чирикать, щебетать, болтать») — социальная сеть для публичного обмена сообщениями при помощи веб-интерфейса, SMS, средств мгновенного обмена сообщениями или ответил, что URL, закрытые от индексации в файле именованная область данных на носителе информации robots.txt, не влияют на краулинговый бюджет этого сайта:

Вместе с тем в ответе на один из вопросов к этому посту в твиттере Гэри Гари (англ признал, что если запретить к индексации бесполезные страницы, то краулинговый бюджет будет «возвращен» («will gain back») открытым для индексации полезным страницам:

Все эти «словесные кульбиты» натолкнули меня на мысль порассуждать на тему краулингового бюджета и его эффективного использования. Оговорюсь сразу, что тема Тема (греч оптимизации краулингового бюджета актуальна только для сайтов с достаточно большим числом страниц – счет должен идти на десятки, а то и сотни тысяч. Небольшим сайтам или веб-сайт (от англ. website: web — «паутина, сеть» и site — «место», буквально «место, сегмент, часть в сети»), — одна или несколько логически связанных между собой веб-страниц; также место заморачиваться на эту тема смысла не имеет – поисковики система (англ. search engine) — это компьютерная система, предназначенная для поиска информации их будут переиндексировать довольно шустро в любом случае.

Итак, вводные данные следующие. Мы определились, какие страницы на сайте мы считаем полезными для индексации, а какие – бесполезными, то есть по сути мусором, который, находясь в индексе, может являться источником различного рода проблем. В терминах Google это называется low-value-add URL. И наша задача проблемная ситуация с явно заданной целью, которую необходимо достичь; в более узком смысле задачей также называют саму эту цель, данную в рамках проблемной ситуации, то есть то, что требуется – убрать из индекса бесполезные страницы наиболее эффективным образом. В том числе и с точки зрения оптимизации краулингового бюджета смета доходов и расходов определённого субъекта (семьи, бизнеса, организации, государства и т. д.), устанавливаемая на определённый период времени, обычно на один год. 

Для начала уточним, что же подразумевается под краулинговым бюджетом? Если коротко, то это число страниц с кодом статуса 200 ОК, которое индексирующий робот поисковой системы отсканирует за одну сессию. Это число (равно как и частота физическая величина, характеристика периодического процесса, равна количеству повторений или возникновения событий (процессов) в единицу времени сканирования) зависит от различных факторов, например, таких как популярность сайта, уже имеющееся число страниц в индексе и т.п. 

Судя по всему, Гэри Илш, говоря, что запрещенные к индексации файлом robots.txt страницы никак не влияют на краулинговый бюджет, имел в виду ВИД: В прямом смысле: То, что доступно взгляду то, что, так как поисковая система заведомо знает о том, что они запрещены к индексированию или индексирование (от лат. index) могут означать: Индексация (экономика) — средство защиты от инфляции путём привязки к индексу потребительских цен (а значит, индексирующему роботу не нужно их сканировать), то никоим образом Образ — визуальный образ, зрительный образ, изображение не учитывает их при расчете краулингового бюджета. 

В ситуации же описываемой в последующем вопросе, когда осуществляется запрет к индексации или индексирование (от лат. index) могут означать: Индексация (экономика) — средство защиты от инфляции путём привязки к индексу потребительских цен уже известных поисковой системе страниц, на которые в том числе расходовался краулинговый бюджет, произойдет следующее – выделенный краулинговый бюджет начнет расходоваться только на страницы, которые не запрещены к индексации. Это Гэри Илш и называет «возвращением» бюджета полезным страницам, так как в вопросе форма мысли, выраженная в основном языке предложением, которое произносят или пишут, когда хотят что-нибудь спросить, то есть получить интересующую информацию явно указано, что происходит закрытие бесполезных страниц. Кстати, теоретически при закрытии страниц от индексации краулинговый бюджет в абсолютных цифрах может и уменьшиться, так как уменьшится число основное понятие математики, используемое для количественной характеристики, сравнения, нумерации объектов и их частей проиндексированных страниц на сайте, но он будет расходоваться более эффективно именно для полезных страниц.

Поэтому для оптимизации краулингового бюджета может быть действительно хорошим вариантом закрытие к индексации файлом robots.txt бесполезных страниц, имеющих код статуса 200 ОК. Однако здесь могут быть нюансы. Так, например, если какие-то из этих страниц имеют входящие ссылки или ненулевой целевой трафик, то исключение таких страниц из индекса повлечет исключение Исключение — действие, выведенное из подчинения норм и стандартов из ранжирования сортировка сайтов в поисковой выдаче, применяемая в поисковых системах этих значений объект, который обозначается, замещается, репрезентируется другим объектом — знаком; между двумя объектами, выступающими соответственно в роли знака и значения (названия), в процессе семиозиса, что теоретически может негативно сказаться на расчетных показателях релевантности проиндексированных страниц сайта. В общем, запрет для индексации в файле robots.txt может быть хорошим решением только для тех URL, которые с точки зрения ссылочных и поведенческих факторов причина, движущая сила какого-либо процесса, определяющая его характер или отдельные его черты.Фактор может также означать: Фактор (алгебра) — инволютивная подалгебра U {displaystyle {mathfrak абсолютно неинтересны. 

Также следует иметь в виду, что запрет к индексации страниц с помощью мета-тега robots со значением noindex на оптимизацию краулингового бюджета существенно не повлияет.  Потому что в этом случае закрываемая от индексации страница имеет код статуса 200 ОК, и поисковик исключит ее из индекса число, буквы или другая комбинация символов, указывающая место элемента в совокупности или характеризующая состояние некоторой системы, например показатель активности, производительности, развития, только после того, как индексирующий робот ее просканирует. И в последующем индексирующий робот будет все равно вынужден такие страницы переобходить. Единственное, на что можно надеяться – так это на то, что он это будет делать с меньшей частотой чем для страниц, которые не были запрещены к индексированию с помощью мета-тега (X)HTML-теги, предназначенные для предоставления структурированных метаданных (дополнительных, сопроводительных) о веб-странице robots. Ну хотя бы по крайней мере для тех страниц, которые имеют такой запрет на индексацию на протяжении нескольких сканирований подряд. Хотя, на мой взгляд, подобные надежды основываются на очень зыбкой почве.

Поэтому я считаю, что наилучший способ исключить бесполезные страницы из краулингового бюджета – это изменить для них код статуса с 200 ОК на 301 Moved Permanently с редиректом на разрешенную к индексации полезную страницу, имеющую отклик 200 ОК. В таком случае в древнегреческой философии Случай в страховании Случай в финансах Случай в гражданском праве Случай в уголовном праве Случай — название ряда фильмов страница с кодом статуса 301 должна «подклеиться» к странице, на которую ведет редирект с нее, причем с передачей некоторых характеристик, которые относятся к нетекстовым факторам ранжирования (например, такие как ссылочные или поведенческие). Google называет это консолидацией URL. Запомним этот термин слово или словосочетание, являющееся названием некоторого понятия какой-нибудь области науки, техники, искусства и так далее и будем его в последующем применять. Кстати, в случае Яндекса «» — российская транснациональная компания, зарегистрированная в Нидерландах и владеющая одноимённой системой поиска в Сети, интернет-порталами и службами в нескольких странах необходимо иметь в виду следующий нюанс – подклеить страницу любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради) к странице, расположенной на другом поддомене домен, являющийся частью домена более высокого уровня сайта, в общем случае не получится. 

Да, пожалуй, это было бы идеальное решение, оптимально закрывающее две задачи – избавления «Избавление» — фильм 1919 года «Избавление» — фильм 1972 года «Избавление» — фильм 1977 года «Избавление» — фильм 1981 года индекса от бесполезных страниц и оптимизации краулингового бюджета. Например, оно хорошо применимо для решения многозначный термин проблемы в широком смысле — сложный теоретический или практический вопрос, требующий изучения, разрешения; в науке — противоречивая ситуация, выступающая в виде противоположных позиций в объяснении устаревших страниц, которые когда-то имели трафик Телефонный трафик — в телекоммуникациях — большое количество телефонных разговоров и попыток установления соединения, проходящих через коммутационной оборудования и/или телефонную сеть Транспортный и до сих пор имеют входящие ссылки Ссылка — запись в документе, указывающая на другую часть этого документа или на другой документ; Ссылка — депортация, изгнание; Ссылка — в программировании объект, указывающий на определённые. Но, к сожалению, оно применимо далеко не во всех случаях.  Есть масса скалярная физическая величина, определяющая инерционные и гравитационные свойства тел в ситуациях, когда их скорость намного меньше скорости света вариантов, когда страница с точки зрения владельца сайта должна по той или иной причине иметь код статуса абстрактное многозначное слово (термин в некоторых областях жизнедеятельности), в общем смысле обозначающий совокупность стабильных значений параметров объекта или субъекта 200 ОК, но при этом с точки может означать следующее: Точка — геометрический абстрактный объект, не имеющий никаких измеримых характеристик, кроме координат зрения поисковика ее можно считать бесполезной, например:

• дубликаты копия, второй или следующий экземпляр документа, предмета четкие, например, отличающиеся только наличием get-параметров в URL, которые важны владельцу одна из центральных категорий вещного права, различно интерпретировавшаяся в разные периоды и в различных правовых системах государств и стран сайта с точки зрения система (зрительный анализатор, орган зрения) — бинокулярная (стереоскопическая) оптическая система биологической природы, эволюционно возникшая у животных и способная воспринимать электромагнитное веб-аналитики;
• дубликаты нечеткие, например, результаты многокритериальной фильтрации листингов образованные от англ. list список: Листинг (ценные бумаги) — внесение акций компании в список акций, котирующихся на данной бирже, для допуска к биржевым торгам только тех акций, которые прошли товаров интернет-магазина -магазин (англ. online shop или e-shop) — сайт, торгующий товарами посредством сети Интернет, по факту слабо отличающие друг личные бескорыстные взаимоотношения между людьми, основанные на общности интересов и увлечений, взаимном уважении, взаимопонимании и взаимопомощи; предполагает личную симпатию, привязанность и от друга по набору удовлетворяющих различным значениям фильтров товаров любая вещь, которая участвует в свободном обмене на другие вещи; продукт, произведённый для продажи;
• страницы пагинации листингов товаров в интернет магазинах

и т.п.

С точки зрения склейки страниц с сопутствующей ей консолидацией, тут есть прекрасный заменитель 301-му редиректу Перенаправление — функция командных оболочек ввода-вывода – директива canonical. Однако с точки зрения краулингового бюджета это не самый оптимальный вариант одна из нескольких редакций какого-либо произведения (литературного, музыкального и тому подобного) или официального документа; видоизменение какой-либо части произведения (разночтения отдельных, так как неканоническая страница должна иметь код статуса 200 ОК. 

В этом случае краулинговый бюджет можно оптимизировать с помощью специальной обработки в экономическом смысле — процесс создания какого-либо продукта запросов от поисковика, имеющих заголовок If-Modified-Since. Алгоритм действий следующий – убедившись, что поисковик посчитал конкретную страницу неканонической (это можно сделать через сервисы Яндекс.Вебмастер и Google Search Console), необходимо запомнить дату, и в последствии на запросы индексирующего робота автоматическое устройство, предназначенное для осуществления различного рода механических операций, которое действует по заранее заложенной программе с заголовком If-Modified-Since, содержащим дату позднее запомненной, отдавать код статуса 304 Not Modified вместо 200 ОК. Страницы с кодом взаимно однозначное отображение конечного упорядоченного множества символов, принадлежащих некоторому конечному алфавиту, на иное, не обязательно упорядоченное, как правило более обширное множество статуса 304 не будут расходовать краулинговый бюджет.

Кстати, тот же самый прием можно применить для оптимизации краулингового бюджета в случае, о котором я писал несколько выше – когда бесполезные страницы по той или иной причине Основание, предлог для каких-нибудь действий.Например: Уважительная причина; Смеяться без причины; По причине того что…, по той причине что…, из-за того что закрываются от индексации с помощью содействие кому-либо или чему-либо; действия или средства, облегчающие, упрощающие что-либо: Военная помощь — межгосударственная помощь для военных нужд, которая может состоять из финансовых мета-тега robots со значением noindex. В этом случае нам нужно запомнить дату дата — порядковый номер календарного дня, порядковый номер или наименование календарного месяца и порядковый номер календарного года (Федеральный закон Российской Федерации от 3 июня 2011 г. №, когда поисковик исключил запрещенную к индексации страницу из индекса, чтоб потом водный раствор солей и органических веществ, выделяемый потовыми железами использовать ее при специальной обработке запросов от индексирующего робота с заголовком If-Modified-Since.

В общем-то, специальная обработка запроса If-Modified-Since очень полезна с точки оптимизации процесс максимизации выгодных характеристик, соотношений (например, оптимизация производственных процессов и производства), и минимизации расходов краулингового бюджета и для полезных страниц с сайта, для которых известна дата последнего изменения их контента. Всем запросам индексирующих роботов поисковых систем множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство с заголовком система взаимосвязанных и соподчинённых заголовков издания, выражающих взаимосвязь и соподчинённость возглавляемых ими рубрик (подразделов произведения, издания) If-Modified-Since, содержащим дату позднее известной нам даты последнего изменения контента сведения независимо от формы их представления страницы, следует отдавать код статуса 304 Not Modified. Однако тут тоже есть один нюанс – такие страницы лишаются возможности попадать в так называемую «быстроботовскую» примесь вещество, прибавленное, примешанное к другому, входящее в состав другого для свежих результатов. Поэтому для тех страниц, которые релевантны запросам, имеющим быстроботовскую примесь, все-таки я бы рекомендовал отдавать всегда код статуса 200 ОК. Ибо возможность направление развития, присутствующее в каждом явлении жизни; выступает и в качестве предстоящего, и в качестве объясняющего, то есть как категория попадания в топ выдачи как свежий результат последствие цепочки (череды) действий (итог) или событий, выраженных качественно или количественно намного важнее оптимизации краулингового бюджета.