Google: не нужно запрещать сканировать страницы 404

Запрет для Гуглбота сканировать страницы с кодом ответа 404 – не самая хорошая идея со стороны веб-мастера.

Общаясь с представителем Google, один сеошник признался:

«Мой сайт автоматически блокирует все юзер-агенты, которые фиксируют свыше десяти ошибок 404, в том числе это касается и поисковых ботов Google.

Параллельно я использую редирект 301, чтобы перенаправлять пользователей с таких страниц на другие сайты с релевантным контентом».

Ответ эксперта поисковой системы не заставил себя долго ждать:

«Такое решение выглядит весьма неудачным, поскольку способно привести к разного рода проблемам. Вы не можете запретить Гуглботу или другим поисковикам сканировать страницы 404».

Чуть позже Гуглмен добавил:

«Миллиарды страниц с кодом ответа 404 сканируются нами ежедневно. Это обычная практика для сети. Только так наши боты способны определить, что конкретный URL больше не существует. Вы не должны намеренно препятствовать этому процессу».

В этой статье детально разбираем коды ответов серверов.