Полезные команды Wget

Скачивание всего сайта Wget без учета robots.txt


wget -r -k -l 7 -p -E -nc -nv -e robots=off http://site.ru/ 

Cлить все файлы по списку с сохранением вложенности


wget -k --force-directories -i files.txt

Скачиваем сайт с адресами на русском языке, со своим User-agent, без учета robots.txt, с уровнем вложенности 7


wget -r -k -l 7 -p -E -nc -nv -e robots=off --restrict-file-names=nocontrol --user-agent="Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0" http://site.ru/ 
02 февраля 2017, 00:34    Администратор по умолчанию Работа в консоли 0    0 0

Комментарии (0)

    Вы должны авторизоваться, чтобы оставлять комментарии.