wget扒站

$ wget -r -np -nd http://example.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中，-np 的作用是不遍历父目录，-nd 表示不在本机重新创建目录结构。

$ wget -r -np -nd -accept=iso http://example.com/centos-5/i386/
与上一条命令相似，但多加了一个 -accept=iso 选项，这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。

$ wget -i filename.txt
此命令常用于批量下载的情形，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。

$ wget -c http://example.com/really-big-file.iso
这里所指定的 -c 选项的作用为断点续传。

$ wget -m -k (-H) http://www.example.com/
该命令可用来镜像一个网站，wget 将对链接进行转换。如果网站中的图像是放在另外的站点，那么可以使用 -H 选项。

wget -r   -p -np -k -E  http://www.xxx.com 抓取整站

wget -l 1 -p -np -k       http://www.xxx.com 抓取第一级

-r 递归抓取
-k 抓取之后修正链接，适合本地浏览

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。


解释：

-m  //镜像，就是整站抓取
-e robots=off   //忽略robots协议，强制、流氓抓取
-k  //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存

wget -c -r -npH -k http://www.baidu.com 

2. 参数分析

-c：断点续传  -r：递归下载  -np：递归下载时不搜索上层目录  -nd：递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中  -p：下载网页所需要的所有文件(图片,样式,js文件等)  -H：当递归时是转到外部主机下载图片或链接  -k：将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

wget高级用法

1. 请求网页时添加cookie参数

首先设定一下cookie的值（也可以直接拼接）

cookie=**** 

然后

wget --header="Cookie:$cookie" "链接地址" 

2. 关闭rebot协议下载网页

wget -r -p -k -np -nc -e robots=off http://www.example.com/mydir/ 

3. 下载到指定的文件夹里

wget --no-check-certificate -E -H -k -K -p -e robots=off -Pgame  -i ./list.txt