SitemapCleaner

Опции
 
Содержимое карты сайта, которое нужно почистить. Можно подгрузить с сайта, а также править вручную
Содержимое файла robots.txt, если нужно почистить согласно его правилам. Можно подгрузить с сайта, а также править вручную

Список изменений

03.02.2017

Добавлена проверка отклика страниц (галочка "Исключить несуществующие страницы (отдающие отклик отличный от 200"), при анализе адресов будут проверяться отклики и исключатся из карты сайта, отличные от 200

Добавлен дополнительный отчет - исключенные страницы по откликам

 

02.02.2017

Добавлено условие проверки User-agent при разборе файла robots.txt. Если обнаружена секция User-agent: Yandex, то фильтрация файла идет именно по этой секции. По-умолчанию используется секция User-agent: *

Добавлен дополнительный отчет - отработавшие регулярные выражения, исключенные страницы по файлу правилам файла robots.txt