博客文章已转移到新地址,本地址暂时保留,新文章仅在新地址更新。[置顶]

wget在linux下载整站命令

作者:小宝 2017-06-11 14:06:22

用wget命令可以下载网站内容,可以下载整站代码。和爬出一样,就是将html下载到本地了。看到自己喜欢的前端模板或者有些博客文章可以直接wget到本地,然后慢慢离线看(纯属个人猜的)。命令中用-r来递归网站内容,-c 断点续传(再次下载的时候),-p来表示下载所有文件,-np不下载上级的内容(不下载网站中外链到的网站,不然后果很严重了),-k就是转换连接。比如我下载我博客的内容(只下载我blog目录的内容,不会下载上一级目录的内容):

wget -r   -p -np -k http://weibingsheng.cn/blog/

然后开始下载我的内容了(有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置模拟浏览器
wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
)。还可以这样下载


方法:用--mirror参数

当你要下载一个完整站点并实现本地浏览的时候,
wget --mirror -p --convert-links -P ./test http://weibingsheng.cn/

参数讲解:
--mirror:设置这个参数用来建立本地镜像
-p:下载所有html文件适合显示的元素
--convert-links:下载完成后,将文档链接都转换成本地的
-P ./test:保存所有的文件和目录到指定文件夹(test)下

内容参考博客,很详细:http://blog.chinaunix.net/uid-14735472-id-111049.html。
下面是最后部分执行过程:

Converting weibingsheng.cn/blog/index.php/home/index/read.html?id=77... 38-3
Converting weibingsheng.cn/blog/index.php/home/index/read.html?id=78... 38-3
Converting weibingsheng.cn/blog/index.php/home/index/read.html?id=79... 38-4
Converting weibingsheng.cn/blog/index.php/home/msg/index/p/7.html... 20-1
Converting weibingsheng.cn/blog/index.php/home/index/index/p/2.html... 51-2
Converting weibingsheng.cn/Public/widgEditor/css/widgEditor.css... 11-0
Converting weibingsheng.cn/Public/bootstrap/css/bootstrap.min.css... 6-0


©BRISKLAN;备案信息:桂ICP备16004757号-1