wget扒站
首页 > >    作者:lininn   2020年8月26日 15:21 星期三   热度:1436°   百度已收录  
时间:2020-8-26 15:21   热度:1436° 

$ wget -r -np -nd http://example.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

$ wget -r -np -nd -accept=iso http://example.com/centos-5/i386/
与上一条命令相似,但多加了一个 -accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

$ wget -i filename.txt
此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

$ wget -c http://example.com/really-big-file.iso
这里所指定的 -c 选项的作用为断点续传。

$ wget -m -k (-H) http://www.example.com/
该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。



wget -r   -p -np -k -E  http://www.xxx.com 抓取整站

wget -l 1 -p -np -k       http://www.xxx.com 抓取第一级

 

-r 递归抓取
-k 抓取之后修正链接,适合本地浏览

 

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

 

 

wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。


解释:

-m  //镜像,就是整站抓取
-e robots=off   //忽略robots协议,强制、流氓抓取
-k  //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存


wget -c -r -npH -k http://www.baidu.com 
  1. 参数分析
-c:断点续传  -r:递归下载  -np:递归下载时不搜索上层目录  -nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中  -p:下载网页所需要的所有文件(图片,样式,js文件等)  -H:当递归时是转到外部主机下载图片或链接  -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

wget高级用法

  1. 请求网页时添加cookie参数

首先设定一下cookie的值(也可以直接拼接)

cookie=**** 

然后

wget --header="Cookie:$cookie" "链接地址" 
  1. 关闭rebot协议下载网页
wget -r -p -k -np -nc -e robots=off http://www.example.com/mydir/ 
  1. 下载到指定的文件夹里
wget --no-check-certificate -E -H -k -K -p -e robots=off -Pgame  -i ./list.txt

二维码加载中...
本文作者:lininn      文章标题: wget扒站
本文地址:?post=471
版权声明:若无注明,本文皆为“覆手为雨”原创,转载请保留文章出处。
分享本文至:

返回顶部    首页    手机版本    后花园   会员注册   
版权所有:覆手为雨    站长: lininn