简介
Webdup能够把您想要浏览的信息(如网页和图片等)预先下载下来,保存在本地硬盘,使您可以从本地进行离线浏览,这样不仅可以大大减少上网时间,降低上网费用,还可以加快浏览速度;并且将来无须上网就可以很方便地查阅这些信息。不仅如此, Webdup更提供了备份历次下载记录和比较完善的管理功能,使您能够方便地分类保存和管理有价值的下载信息。
原理
Webdup在下载项目时,从用户设定的"起始地址"开始,如果下载下来的是网页(即HTML文件),则对它进行分析,解析出该网页中包含的所有链接,如果某个链接符合继续下载的条件(根据用户设定的"层数限制","URL过滤"和"文件过滤"等来进行判断),则把该链接加入到下载队列中等待下载。就这样不断的下载和解析,直到所有的链接都被下载且没有新的需要下载的链接产生,项目下载结束。
功能
支持HTTP和FTP下载,并支持HTTP和Socks5代理服务器;
支持多线程下载;
支持断点续传;
可按URL和文件后缀名设置过滤,只下载所需文件;
Webdup的过滤设置
Webdup的过滤设置
自动识别下载过的文件是否更新过,减少重复下载;
可设置定时下载和定时停止;
支持自动拨号和自动挂断;
可导出和导入项目文件,方便用户交换网上资源;
提供与浏览器(IE)的整合,方便快速地创建项目;
支持项目和类别的拖拽操作,方便用户分类管理项目;
能自动识别操作系统的语言,按需显示中文或英文。
相关推荐
MetaSeeker是一个Web网页抓取/数据抽取/页面信息提取工具包,能够按照用户的指导,从Web页面上筛选出需要的信息,并输出含有语义结构的提取结果文件(XML文件),众所周知,Web页面显示的信息是给人阅读的,对于机器...
一把抓是一款可以帮助用户提取完整网站内容的工具。用户可以下载网站单个页面或多个页面,包括JS、CSS、图片、背景图片、音乐、Flash 一把抓 特点: 1、一键下载页面所有内容,并自动更换网络链接为本地链接 2、...
Flash 网页抓取工具 抓取 线下小动画
Snoopy_PHP网页抓取工具 snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
TeleportPro可以完全或部分下载一个网站上的内容,使用户能够离线浏览;可以在硬盘上创建一个与原网站完全相同的镜象...可以探测并记录一个网站的所有网页和文件的清单;可以从一个中心网站探测每一个与之链接的网站。
HttpClient网页抓取工具包整合,
免费的网页资源抓取工具,很好用,很好用,很好用,重要的事情说三遍
超好用的flash网页抓取工具,只要输入网址就可以。
很不错的网页抓取工具
httpclient远程网页抓取工具,可以继承到web项目工程中,很好哟,还等什么?
【工具】★★★★★-iPhone、iPad 网页抓取工具源码
【工具】-iPhone、iPad 网页抓取工具源码.7z
一个网络爬虫程序 PClawer 是一款定制功能较强的网页抓取工具,需要用到正则表达式,适合高级用户使用
网页刷新抓取工具,五字真言,搜索,筛选,刷新,抓图,测试正则表达式。 本工具只使用于测试,请用户自重,本人不对其产生的后果负责。 功能: 1、搜索网页关键字或者关键内容,支持正则表达式,比如论坛账户邮箱...
这是自己写的一个正则表达式测试工具,专门用于测试Html数据抓取用的。
C#实现网页抓取,采用多线程方式,提高抓取效率 <br>
网络抓取工具,能抓取静态页面,在线帮助文档类,使用方法网上可以查询,很好用
NULL 博文链接:https://zhousheng193.iteye.com/blog/1096241