Google опубликовал список всех изменений в спецификации robots.txt

В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt.

Все изменения перечислены в новом разделе Раздел — действие по глаголу разделять «What
changed» на странице Robots.txt Specifications. В их числе значатся
следующие:

• Удалён раздел «Язык требований»;
• Robots.txt теперь принимает все протоколы на основе URI;
• Google выполняет минимум пять повторений для переадресации. Если файл robots.txt не найден, цикл прекращается и регистрируется ошибка 404. Обработка в экономическом смысле — процесс создания какого-либо продукта логических переадресаций к файлу именованная область данных на носителе информации robots.txt на основе многозначный термин: Основа — продольная система направления параллельных друг другу нитей в ткани, располагающихся вдоль обеих кромок ткани HTML-содержания, возвращающего коды 2xx (переадресации на основе фреймов, JavaScript или метатегов обновления) не рассматривается. 
• Что касается ошибок 5xx, то если robots.txt недоступен более 30 дней, используется последняя копия, сохранённая в кеше. Если она недоступна, Google заключает, что никаких ограничений сканирования не предусмотрено.
• Google обрабатывает неудачные запросы или неполные данные как ошибку непреднамеренное, забывчивое отклонение от правильных действий, поступков, мыслей, разница между ожидаемой или измеренной и реальной величиной сервера.
• «Записи» теперь называются «строками» или «правилами», в зависимости Зависимость (математика) — соответствие между элементами двух множеств, при котором каждому элементу одного множества ставится в соответствие элемент из другого множества от ситуации одноактность и неповторимость возникновения множества событий, стечения всех жизненных обстоятельств и положений, открывающихся восприятию и деятельности человека.
• Google не поддерживает обработку элементов с простыми ошибками или опечатками (например, «useragent» вместо «user-agent»).
• В настоящее время Google обрабатывает файлы robots.txt, размер которых составляет до 500 кибибайт приставки — приставки перед наименованиями или обозначениями единиц измерения информации, применяемые для формирования кратных единиц, отличающихся от базовой единицы в определённое целое, (КиБ), и игнорирует контент, который превышает это ограничение Ограничение — действие по значению глагола ограничить, и результат такого действия.
• Обновлён формальный синтаксис, чтобы он был действительно расширенной формой Бэкуса-Наура (ABNF) в соответствии с RFC5234 и охватывал символы UTF-8 в файле robots.txt.
• Обновлено определение «групп совокупность чего-либо», чтобы оно стало короче и лаконичнее. Добавлен пример Пример (риторика) — понятие в риторике, частный случай, применяемый для объяснения общего для пустой группы.
• Удалены ссылки на устаревшую схему сканирования устройство ввода, которое, анализируя какой-либо объект (обычно изображение, текст), создаёт его цифровое изображение Ajax.

В русскоязычной версии документа эти изменения пока не отражены.

Напомним, что на днях промежуток времени от восхода до заката Солнца Google также открыл исходный код своего парсера для robots.txt.