JSpider(2):JSpider是什么?

从名字可以看出,JSpider是一个用Java实现的Web Spider。JSpider官方网站这样说的:

JSpider(2):JSpider是什么?JSpider is: 
JSpider(2):JSpider是什么?•    A highly configurable and customizable Web Spider engine. 
JSpider(2):JSpider是什么?•    Developed under the LGPL Open Source license 
JSpider(2):JSpider是什么?•    In 
100% pure Java 
JSpider(2):JSpider是什么?You can use it to : 
JSpider(2):JSpider是什么?•    Check your site for errors (internal server errors
, JSpider(2):JSpider是什么?
JSpider(2):JSpider是什么?•    Outgoing and/or internal link checking 
JSpider(2):JSpider是什么?•    Analyze your site structure (creating a sitemap
, JSpider(2):JSpider是什么?
JSpider(2):JSpider是什么?•    Download complete web sites 
JSpider(2):JSpider是什么?•    Any task you want
, if you write a JSpider plugin. 
JSpider(2):JSpider是什么?

JSpider的执行格式如下:

jspider [URL] [ConfigName]

URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。

JSpider的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了解,然后根据自己的需求开发插件,撰写配置文件。

本文转自xiaotie博客园博客,原文链接http://www.cnblogs.com/xiaotie/archive/2005/10/07/249761.html如需转载请自行联系原作者


xiaotie 集异璧实验室(GEBLAB)

上一篇:Qt5对WinXP系统的支持和兼容情况


下一篇:3. 什么是JSR参考实现? - JavaEE基础系列