В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

0 5

В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

Вышла новая версия SiteAnalyzer, в которой добавлены возможности указания произвольных HTTP-заголовков и использования виртуального robots.txt.

Указание произвольных HTTP-заголовков позволит анализировать реакцию сайта и страниц на разные запросы.

Например, кому-то может понадобиться отдавать в запросе Referer, владельцам мультиязычных сайтов захочется передавать Accept-Language|Charset|Encoding, а у кого-то есть потребность в передаче необычных данных в заголовках Accept-Encoding, Cache-Control, Pragma и т.п.

В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

Использование виртуального robots.txt вместо реального, размещенного на сайте, пригодится при тестировании сайта, когда, например, нужно просканировать определенные разделы сайта, закрытые от индексации (либо наоборот – не учитывать их при сканировании), при этом не нужно физически вносить изменения в реальный robots.txt и тратить на это время разработчика.

Виртуальный Robots.txt хранится в настройках программы и является общим для всех проектов.

В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

Также на вкладке проверки уникальности контента добавлено окно отображения списка страниц, наиболее близких по уникальности к выбранному URL:

В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

Еще в новой версии SiteAnalyzer 2.6:

  • добавлена возможность отмены процедуры тестирования работоспособности списка прокси в любой момент во время теста
  • пересканирование произвольных URL проекта теперь происходит в несколько потоков, исходя из настроек программы
  • в раздел настроек Яндекс XML добавлен сервис SERPRiver для проверки индексации страниц в Яндексе
  • восстановлена работа функции Custom Search, предназначенной для поиска контента на сайте
  • в списке проектов добавлено отображение даты последнего сканирования проекта
  • добавлена возможность перетаскивания по папкам нескольких проектов мышью, а также используя контекстное меню
  • добавлены дополнительные кнопки для проверки Google PageSpeed и уникальности контента на соответствующих вкладках
  • добавлена возможность открытия в браузере файла robots.txt для интересующего сайта
  • добавлена возможность открытия выбранного URL на сайте web.Archive.org
  • добавлена колонка «Источник» на вкладке «Изображения»
  • оптимизирован учет правил исключенных URL при сканировании сайтов
  • добавлено использование регулярных выражений RegEx
  • ускорено удаление URL в проектах

 Напомним, в предыдущей версии SiteAnalyzer, представленной в июле, были реализованы проверка уникальности контента, скрейпинг данных (извлечение данных с сайта) и проверка скорости загрузки страниц по Google PageSpeed. 

Источник: searchengines.guru
Оставить комментарий

Мы используем файлы cookie. Продолжив использование сайта, вы соглашаетесь с Политикой использования файлов cookie и Политикой конфиденциальности Принимаю

Privacy & Cookies Policy