Wget

Как выкачать файл с помощью Wget

  wget -m -p -E -k -np www.example.com
-m, –mirrorВключить рекурсию и метку времени, устанавливает бесконечную глубину рекурсии и сохраняет листинги каталогов FTP.
-p, –page-requisitesПолучите все изображения и т.д., необходимые для отображения HTML-страницы
-E, –adjust-extensionСохраняйте HTML/CSS-файлы с расширениями .html/.css
-k, –convert-linksСделайте так, чтобы ссылки в загружаемом HTML указывали на локальные файлыv
-np, –no-parentНе поднимайтесь к родительскому каталогу при рекурсивном поиске. Это гарантирует, что будут загружены только файлы ниже определенной иерархии. Требуется косая черта в конце каталога, например example.com/foo/.

Recursive accept/reject:

  1. A, –accept=LIST comma-separated list of accepted extensions.
  2. R, –reject=LIST comma-separated list of rejected extensions.
    1. -accept-regex=REGEX regex matching accepted URLs.
    2. -reject-regex=REGEX regex matching rejected URLs.
    3. -regex-type=TYPE regex type (posix|pcre).
  3. D, –domains=LIST comma-separated list of accepted domains.
    1. -exclude-domains=LIST comma-separated list of rejected domains.
    2. -follow-ftp follow FTP links from HTML documents.
    3. -follow-tags=LIST comma-separated list of followed HTML tags.
    4. -ignore-tags=LIST comma-separated list of ignored HTML tags.
  4. H, –span-hosts go to foreign hosts when recursive.
  5. L, –relative follow relative links only.
  6. I, –include-directories=LIST list of allowed directories.
  7. -trust-server-names use the name specified by the redirection

url last component.

  1. X, –exclude-directories=LIST list of excluded directories.
  2. np, –no-parent don't ascend to the parent directory.

so you can use -R or –reject to reject extentions this way:

wget -R="index.html,*.tiff,*.pdf,*.jpg" http://example.com/ and in my case here is final command which I wanted to recursively download/update none-html files from an indexed website directory:

wget -N -r -np -nH –cut-dirs=3 -nv -R="*.htm*,*.html" http://example.com/1/2/3/