Google проверяет код ответа сервера, а потом сканирует контент

Сотрудник Google Джон Мюллер сообщил, что первое, на что обращает внимание поисковик при сканировании устройство ввода, которое, анализируя какой-либо объект (обычно изображение, текст), создаёт его цифровое изображение контента сведения независимо от формы их представления, – код ответа сервера.

Посмотреть полный ответ реплика, вызванная заданным вопросом или реакция на какое-либо событие Мюллера можно на видео, начиная с отметки 26:38: 

Отвечая на вопросы вебмастеров Мюллер сказал, что сначала Google проверяет, возвращает ли страница код 200, а затем уже приступает к сканированию контента. 

Если же поисковик система (англ. search engine) — это компьютерная система, предназначенная для поиска информации обнаружит коды ответа сервера 400 или 500, или переадресацию, то он не будет выполнять рендеринг контента для индексации. 

Мюллер отдельно подчеркнул, что Google не видит страницы с ошибкой 404. Владельцы сайтов, которые придумывают для таких страниц любая из двух сторон листа бумаги (обычно в книге, журнале, газете или тетради) необычный дизайн, должны иметь в виду, что эти страницы увидят только посетители сайта или веб-сайт (от англ. website: web — «паутина, сеть» и site — «место», буквально «место, сегмент, часть в сети»), — одна или несколько логически связанных между собой веб-страниц; также место. 

По умолчанию Google не приступает к обработке содержимого страницы, пока не получит код ответа 200.