机器学习和生物信息学实验室联盟

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 5446|回复: 2
打印 上一主题 下一主题

html网站整站抓取工具-FreshWebSuctions

[复制链接]
跳转到指定楼层
楼主
发表于 2012-3-20 19:41:17 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 xmubingo 于 2012-3-20 19:49 编辑

有时候我们在看人家网站的API或者说明文件,这些文件都是html组成的。

比如:http://59.77.16.75/documentation/php/index.html

很想把它们都copy下来放到自己的电脑上,因为怕对方网站哪天挂了就访问不了了。

需要一个整站抓取工具。

很像爬虫工具。全部宕下来。

FreshWebSuctions可以帮助你!



最重要的一个设置是level limit ,用来设置你要深入的层数。




另外再推荐一个软件WebRipper这个是抓取html页面中的特定资源,比如图片,链接文件等等




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享
回复

使用道具 举报

沙发
发表于 2012-3-20 20:22:49 | 只看该作者
哇,可以做镜像了!
回复 支持 反对

使用道具 举报

板凳
发表于 2012-3-21 10:48:31 | 只看该作者
very gooooooooood
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

机器学习和生物信息学实验室联盟  

GMT+8, 2024-11-2 07:27 , Processed in 0.069354 second(s), 20 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表