概述
GNU Wget 是一个免费实用程序,用于从 Web 非交互式下载文件。它支持HTTP、HTTPS和FTP协议,以及通过HTTP代理检索。下载地址为http://www.gnu.org/software/wget/
Wget 有如下特性:
- Wget 是非交互式的,这意味着它可以在后台工作,而用户未登录。这允许你开始检索并断开与系统的连接,让 Wget 完成工作。相比之下,大多数 Web 浏览器都需要用户始终在场,这在传输大量数据时会是一个很大的障碍。
- wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。
- wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。
详细内容参见Wget手册
调用
wget [option]… [URL]…
网络格式
URL是统一资源定位器的首字母缩写词。统一资源定位符是通过 Internet 提供的资源的紧凑字符串表示。Wget根据RFC1738识别URL语法 。这是最广泛使用的形式(方括号表示可选部分):
http://host[:port]/directory/file
ftp://host[:port]/directory/file
还可以在 URL 中对用户名和密码进行编码:
ftp://user:password@host/path
http://user:password@host/path
无论用户或密码,或两者,可以被排除在外。如果省略HTTP用户名或密码,则不会发送任何身份验证。如果省略FTP用户名,‘匿名的’ 将会被使用。如果省略FTP密码,你的电子邮件地址将作为默认密码提供。
选项
长选项所必须的参数在使用短选项时也是必须的。
启动:
-V, --version #显示 Wget 的版本信息并退出。
-h, --help #打印此帮助。
-b, --background #启动后转入后台。
-e, --execute=COMMAND #运行一个“.wgetrc”风格的命令。
日志和输入文件:
-o, --output-file=FILE #将日志信息写入 FILE
-a, --append-output=FILE #将信息添加至 FILE
-d, --debug #打印大量调试信息
-q, --quiet #安静模式 (无信息输出)
-v, --verbose #详尽的输出 (此为默认值)
-nv, --no-verbose #关闭详尽输出,但不进入安静模式
--report-speed=TYPE #输出带宽为TYPE。唯一接受的值是'bits'
-i, --input-file=FILE #下载本地或外部 FILE 中的 URLs
-F, --force-html #把输入文件当成 HTML 文件
-B, --base=URL #解析与 URL 相关的HTML 输入文件 (由 -i -F 选项指定)
--config=FILE #指定要使用的启动文件的位置,而不是默认位置
下载:
-t, --tries=NUMBER #设置重试次数为 NUMBER (0 代表无限制)
--retry-connrefused #即使拒绝连接也是重试
-O, --output-document=FILE #将文档写入 FILE
-nc, --no-clobber #不要重复下载已存在的文件
-c, --continue #断点续传下载文件
--progress=TYPE #选择进度条类型
-N, --timestamping #只获取比本地文件新的文件
--no-use-server-timestamps #不用服务器上的时间戳来设置本地文件
-S, --server-response #打印服务器响应
--spider #不下载任何文件
-T, --timeout=SECONDS #将所有超时设为 SECONDS 秒
--dns-timeout=SECS #设置 DNS 查寻超时为 SECS 秒
--connect-timeout=SECS #设置连接超时为 SECS 秒
--read-timeout=SECS #设置读取超时为 SECS 秒
-w, --wait=SECONDS #等待间隔为 SECONDS 秒
--waitretry=SECONDS #在获取文件的重试期间等待 1..SECONDS 秒
--random-wait #获取多个文件时,每次随机等待间隔0.5*WAIT...1.5*WAIT 秒
--no-proxy #禁止使用代理
-Q, --quota=NUMBER #设置获取配额为 NUMBER 字节
--bind-address=ADDRESS #绑定至本地主机上的 ADDRESS (主机名或是 IP)
--limit-rate=RATE #限制下载速率为 RATE
--no-dns-cache #关闭 DNS 查寻缓存
--restrict-file-names=OS #限定文件名中的字符为 OS 允许的字符
--ignore-case #匹配文件/目录时忽略大小写
-4, --inet4-only #仅连接至 IPv4 地址
-6, --inet6-only #仅连接至 IPv6 地址
--prefer-family=FAMILY #首先连接至指定协议的地址FAMILY 为 IPv6,IPv4 或是 none
--user=USER #将 ftp 和 http 的用户名均设置为 USER
--password=PASS #将 ftp 和 http 的密码均设置为 PASS
--ask-password #提示输入密码
--no-iri #关闭 IRI 支持
--local-encoding=ENC #IRI (国际化资源标识符) 使用 ENC 作为本地编码
--remote-encoding=ENC #使用 ENC 作为默认远程编码
--unlink #强制 Wget 取消链接文件而不是破坏现有文件
目录:
-nd, --no-directories #不创建目录
-x, --force-directories #强制创建目录
-nH, --no-host-directories #不要创建主目录
--protocol-directories #在目录中使用协议名称
-P, --directory-prefix=PREFIX #以 PREFIX/... 保存文件
--cut-dirs=NUMBER #忽略远程目录中 NUMBER 个目录层
HTTP 选项:
--http-user=USER #设置 http 用户名为 USER
--http-password=PASS #设置 http 密码为 PASS
--no-cache #不在服务器上缓存数据
--default-page=NAME #改变默认页(默认页通常是“index.html”)
-E, --adjust-extension #以合适的扩展名保存 HTML/CSS 文档
--ignore-length #忽略头部的‘Content-Length’区域
--header=STRING #在头部插入 STRING
--max-redirect #每页所允许的最大重定向
--proxy-user=USER #使用 USER 作为代理用户名
--proxy-password=PASS #使用 PASS 作为代理密码
--referer=URL #在 HTTP 请求头包含‘Referer: URL’
--save-headers #将 HTTP 头保存至文件
-U, --user-agent=AGENT #标识为 AGENT 而不是 Wget/VERSION
--no-http-keep-alive #禁用 HTTP keep-alive (永久连接)
--no-cookies #不使用 cookies
--load-cookies=FILE #会话开始前从 FILE 中载入 cookies
--save-cookies=FILE #会话结束后保存 cookies 至 FILE
--keep-session-cookies #载入并保存会话 (非永久) cookies
--post-data=STRING #使用 POST 方式;把 STRING 作为数据发送
--post-file=FILE #使用 POST 方式;发送 FILE 内容
--content-disposition #当选中本地文件名时允许 Content-Disposition 头部 (尚在实验)
--auth-no-challenge #发送不含服务器询问的首次等待 的基本 HTTP 验证信息
HTTPS (SSL/TLS) 选项:
--secure-protocol=PR #选择安全协议,可以是 auto、SSLv2、SSLv3 或是 TLSv1 中的一个
--no-check-certificate #不要验证服务器的证书
--certificate=FILE #客户端证书文件
--certificate-type=TYPE #客户端证书类型,PEM 或 DER
--private-key=FILE #私钥文件
--private-key-type=TYPE #私钥文件类型,PEM 或 DER
--ca-certificate=FILE #带有一组 CA 认证的文件
--ca-directory=DIR #保存 CA 认证的哈希列表的目录
--random-file=FILE #带有生成 SSL PRNG 的随机数据的文件
--egd-file=FILE #用于命名带有随机数据的 EGD 套接字的文件
FTP 选项:
--ftp-user=USER #设置 ftp 用户名为 USER
--ftp-password=PASS #设置 ftp 密码为 PASS
--no-remove-listing #不要删除‘.listing’文件
--no-glob #不在 FTP 文件名中使用通配符展开
--no-passive-ftp #禁用“passive”传输模式
--preserve-permissions #保留远程文件的权限
--retr-symlinks #递归目录时,获取链接的文件 (而非目录)
WARC 选项:
--warc-file=FILENAME #save request/response data to a .warc.gz file
--warc-header=STRING #insert STRING into the warcinfo record
--warc-max-size=NUMBER #set maximum size of WARC files to NUMBER
--warc-cdx #write CDX index files
--warc-dedup=FILENAME #do not store records listed in this CDX file
--no-warc-compression #do not compress WARC files with GZIP
--no-warc-digests #do not calculate SHA1 digests
--no-warc-keep-log #do not store the log file in a WARC record
--warc-tempdir=DIRECTORY #location for temporary files created by the WARC writer
递归下载:
-r, --recursive #指定递归下载
-l, --level=NUMBER #最大递归深度 (inf 或 0 代表无限制,即全部下载)
--delete-after #下载完成后删除本地文件
-k, --convert-links #让下载得到的 HTML 或 CSS 中的链接指向本地文件
--backups=N #before writing file X, rotate up to N backup files
-K, --backup-converted #在转换文件 X 前先将它备份为 X.orig
-m, --mirror #-N -r -l inf --no-remove-listing 的缩写形式
-p, --page-requisites #下载所有用于显示 HTML 页面的图片之类的元素
--strict-comments #用严格方式 (SGML) 处理 HTML 注释
递归接受/拒绝:
-A, --accept=LIST #逗号分隔的可接受的扩展名列表
-R, --reject=LIST #逗号分隔的要拒绝的扩展名列表
--accept-regex=REGEX #regex matching accepted URLs
--reject-regex=REGEX #regex matching rejected URLs
--regex-type=TYPE #regex type (posix|pcre)
-D, --domains=LIST #逗号分隔的可接受的域列表
--exclude-domains=LIST #逗号分隔的要拒绝的域列表
--follow-ftp #跟踪 HTML 文档中的 FTP 链接
--follow-tags=LIST #逗号分隔的跟踪的 HTML 标识列表
--ignore-tags=LIST #逗号分隔的忽略的 HTML 标识列表
-H, --span-hosts #递归时转向外部主机
-L, --relative #只跟踪有关系的链接
-I, --include-directories=LIST #允许目录的列表
--trust-server-names #use the name specified by the redirection url last component
-X, --exclude-directories=LIST #排除目录的列表
-np, --no-parent #不追溯至父目录