wget扒站 wget扒站

wget扒站

$ wget -r -np -nd http://example.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

$ wget -r -np -nd -accept=iso http://example.com/centos-5/i386/
与上一条命令相似,但多加了一个 -accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

$ wget -i filename.txt
此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

$ wget -c http://example.com/really-big-file.iso
这里所指定的 -c 选项的作用为断点续传。

$ wget -m -k (-H) http://www.example.com/
该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。



wget -r   -p -np -k -E  http://www.xxx.com 抓取整站

wget -l 1 -p -np -k       http://www.xxx.com 抓取第一级

 

-r 递归抓取
-k 抓取之后修正链接,适合本地浏览

 

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

 

 

wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。


解释:

-m  //镜像,就是整站抓取
-e robots=off   //忽略robots协议,强制、流氓抓取
-k  //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存


wget -c -r -npH -k http://www.baidu.com 
  1. 参数分析
-c:断点续传  -r:递归下载  -np:递归下载时不搜索上层目录  -nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中  -p:下载网页所需要的所有文件(图片,样式,js文件等)  -H:当递归时是转到外部主机下载图片或链接  -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

wget高级用法

  1. 请求网页时添加cookie参数

首先设定一下cookie的值(也可以直接拼接)

cookie=**** 

然后

wget --header="Cookie:$cookie" "链接地址" 
  1. 关闭rebot协议下载网页
wget -r -p -k -np -nc -e robots=off http://www.example.com/mydir/ 
  1. 下载到指定的文件夹里
wget --no-check-certificate -E -H -k -K -p -e robots=off -Pgame  -i ./list.txt

分享本文至:

评论 0

挤眼 亲亲 咆哮 开心 想想 可怜 糗大了 委屈 哈哈 小声点 右哼哼 左哼哼 疑问 坏笑 赚钱啦 悲伤 耍酷 勾引 厉害 握手 耶 嘻嘻 害羞 鼓掌 馋嘴 抓狂 抱抱 围观 威武 给力
提交评论

清空信息
关闭评论