Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола изначально — документ, фиксирующий какое-либо событие, факт или договорённость, вебмастерами -мастер (встречается также вариант вебмастер; веб-разработчик) — человек, занимающийся разработкой веб-сайтов или корпоративных приложений для Интернета и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).
Протокол исключений для роботов был разработан голландским инженером
Мартейном Костером (Martijn Koster) в 1994 году. Он
позволяет ограничивать поисковым роботам автоматическое устройство, предназначенное для осуществления различного рода механических операций, которое действует по заранее заложенной программе доступ к содержимому на сервере
при помощи текстового файла robots.txt, находящегося в корне сайта.
За 25 лет своего существования аспект всякого сущего, в отличие от другого его аспекта — сущности REP стал стандартом, но де-факто. А это значит, что разработчики специалист, занимающийся разработкой схем, механизмов, аппаратуры, программного обеспечения, сайтов и способный реализовать любой проект от стадии замысла до её реализации техническими средствами могут интерпретировать его по-разному. Кроме того Республика (фр. République togolaise) — государство в Западной Африке, граничащее с Ганой на западе, Бенином на востоке и Буркина-Фасо на севере, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.
Однако в скором времени REP может, наконец, обрести официальный статус абстрактное многозначное слово (термин в некоторых областях жизнедеятельности), в общем смысле обозначающий совокупность стабильных значений параметров объекта или субъекта:
Today we're announcing that after 25 years of being a de-facto standard, we worked with Martijn Koster (@makuk66), webmasters, and other search engines to make the Robots Exclusion Protocol an official standard!https://t.co/Kcb9flvU0b
— Google Webmasters (@googlewmc) July 1, 2019
After 25 years, robots.txt is slowly becoming a standard! A real one! It took so much work to make this happen, but we're finally there! https://t.co/8yoiyOOZJM
— Gary "鯨理" Illyes (@methode) July 1, 2019
Стоит отметить, что в техническом плане после перехода REP в разряд официальных
стандартов в широком смысле слова — образец, эталон, модель, принимаемые за исходные для сопоставления с ними других подобных объектов для вебмастеров ничего не изменится:
No, nothing at all
— Gary "鯨理" Illyes (@methode) July 1, 2019
В спецификации (от позднелат. specificatio, от лат. species — вид, разновидность и лат. facio — делаю): 1) документ, который точно, полностью и в поддающейся проверке форме определяет требования, устройство, Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.