В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt.
✒️Updated Google's Robots.txt spec to match REP draft✒️
?Follows 5 redirect hops
?️No crawl restrictions if unavailable >30 days
⚠️Unsuccessful requests=server error
?500 KiB size limit
?Supports URI-based protocolsFull list of changes: https://t.co/GXd6FWt2D0 #robotstxt25
— Lizzi Harvey (@LizziHarvey) July 1, 2019
Все изменения перечислены в новом разделе Раздел — действие по глаголу разделять «What
changed» на странице Robots.txt Specifications. В их числе значатся
следующие:
- Удалён раздел «Язык требований»;
- Robots.txt теперь принимает все протоколы на основе URI;
- Google выполняет минимум пять повторений для переадресации. Если файл robots.txt не найден, цикл прекращается и регистрируется ошибка 404. Обработка в экономическом смысле — процесс создания какого-либо продукта логических переадресаций к файлу именованная область данных на носителе информации robots.txt на основе многозначный термин: Основа — продольная система направления параллельных друг другу нитей в ткани, располагающихся вдоль обеих кромок ткани HTML-содержания, возвращающего коды 2xx (переадресации на основе фреймов, JavaScript или метатегов обновления) не рассматривается.
- Что касается ошибок 5xx, то если robots.txt недоступен более 30 дней, используется последняя копия, сохранённая в кеше. Если она недоступна, Google заключает, что никаких ограничений сканирования не предусмотрено.
- Google обрабатывает неудачные запросы или неполные данные как ошибку непреднамеренное, забывчивое отклонение от правильных действий, поступков, мыслей, разница между ожидаемой или измеренной и реальной величиной сервера.
- «Записи» теперь называются «строками» или «правилами», в зависимости Зависимость (математика) — соответствие между элементами двух множеств, при котором каждому элементу одного множества ставится в соответствие элемент из другого множества от ситуации одноактность и неповторимость возникновения множества событий, стечения всех жизненных обстоятельств и положений, открывающихся восприятию и деятельности человека.
- Google не поддерживает обработку элементов с простыми ошибками или опечатками (например, «useragent» вместо «user-agent»).
- В настоящее время Google обрабатывает файлы robots.txt, размер которых составляет до 500 кибибайт приставки — приставки перед наименованиями или обозначениями единиц измерения информации, применяемые для формирования кратных единиц, отличающихся от базовой единицы в определённое целое, (КиБ), и игнорирует контент, который превышает это ограничение Ограничение — действие по значению глагола ограничить, и результат такого действия.
- Обновлён формальный синтаксис, чтобы он был действительно расширенной формой Бэкуса-Наура (ABNF) в соответствии с RFC5234 и охватывал символы UTF-8 в файле robots.txt.
- Обновлено определение «групп совокупность чего-либо», чтобы оно стало короче и лаконичнее. Добавлен пример Пример (риторика) — понятие в риторике, частный случай, применяемый для объяснения общего для пустой группы.
- Удалены ссылки на устаревшую схему сканирования устройство ввода, которое, анализируя какой-либо объект (обычно изображение, текст), создаёт его цифровое изображение Ajax.
В русскоязычной версии документа эти изменения пока не отражены.
Напомним, что на днях промежуток времени от восхода до заката Солнца Google также открыл исходный код своего парсера для robots.txt.