Java网页数据采集器[上篇-数据采集]【转载】

开篇

作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发 的程序员(尤其是做前端开发),正则表达式是必备的.

最近,由于一些需要,用到了java和正则,做了个的足球网站的 数据采集程序;由于是第一次做关于java的html页面数据采集,必然在网上查找了很多资料,但是发现运用如此广泛的java在使用正则做html采集 方面的(中文)文章是少之又少,都是简单的谈了下java正则的概念,没有真正用在实际网页html采集,实例教程更是寥寥无几(虽然java有它自己的 Html Parser,而且十分强大),但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的 html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.

 

本期概述

这期我们来学习下如何读取网页源代码,并通过group正则 动态抓取我们需要的网页数据.同时在接下来的几期,我们将继续学习[数据存储]如何将抓取的比赛数据存到数据库(MySql), [数据查询] 怎样查询我们想看的比赛记录,以及[远程操作]通过客户端远程访问和操作服务器来进行数据的采集,存储和查询.

 

关于group正则 

说到正则表达式是如何帮助java进行html页面采集,这里需要提一下正则表达式中的group方法(代码如下).

 

我们看下输出结果:

        打印出url链接:http://www.cnblogs.com/longwu
        打印出标题:SoFlash
        打印出日期:12.22.2011

        group方法捕获的数据个数:3个

 

想了解更多的正则在java方面应用的朋友请看 JAVA 正则表达式 (超详细)

如果之前没有学过正则的可以看看这个 揭开正则表达式的神秘面纱

 

页面采集实例 

好了 group方法介绍完了 我们来使用下group正则采集某个足球网站页面的数据

页面链接: 2011-2012赛季英超球队战绩

首先我们读取整个html页面,并打印出来(代码如下).

 

打印出来的结果是整个html页面的源代码(部分截图如下).

Java网页数据采集器[上篇-数据采集]【转载】

到这里,html源代码已经成功采集下来了.但是,我们想要的并不是整个html源代码, 而是网页上的比赛数据.

 

首先,我们分析下 html源代码结构 来到 2011-2012赛季英超球队战绩 页面,右键 点击 ‘查看源文件‘ (其它浏览器可能叫源代码或者相关).

Java网页数据采集器[上篇-数据采集]【转载】

 

我们来看看 其内部的html代码结构 以及我们需要的数据.

Java网页数据采集器[上篇-数据采集]【转载】

 

其对应的页面数据

Java网页数据采集器[上篇-数据采集]【转载】

 

这时候,强大的正则表达式派上用场了, 我们需要写几个用来抓取球队数据的正则.

这里需要用到3个正则表达式: 日期正则,2个球队正则(主队和客队)以及比赛结果正则.

String regularDate = "(\\d{1,2}\\.\\d{1,2}\\.\\d{4})";   //日期正则
String regularTwoTeam = ">[^<>]*</a>";           //球队正则 
String regularResult = ">(\\d{1,2}-\\d{1,2})</TD>";    //比赛结果正则

 

写好正则, 我们便可以使用该正则来抓取我们想要得到的数据了.

首先,我们写一个GroupMethod类, 里面包含了regularGroup()方法,用于抓取html页面数据.

 然后在主函数里实施html页面的数据抓取.

 

运行查看

我们来看看输出结果(部分截图-初始阶段)

Java网页数据采集器[上篇-数据采集]【转载】

 

 对比下 html上的数据 (部分截图-初始阶段)

Java网页数据采集器[上篇-数据采集]【转载】

 

输出结果(部分截图-结束阶段)

Java网页数据采集器[上篇-数据采集]【转载】

 

对比下 html上的数据 (部分截图-结束阶段)

Java网页数据采集器[上篇-数据采集]【转载】

好了, 这样的html数据采集就完成了. :)

 

当然这里只是抓取了一个页面的内容,如果感兴趣 想抓去更多的页面内容, 你可以分析下该链接后的联盟名, 例如 league=EngPrem 

通过改变league名来获取所有联盟的比赛数据; 你也可以简单写个数组来装载所有的球队名称;

当然还有更智能的方法, 写个采集数据的方法从http://www.footballresults.org/allleagues.php 页面源代码里获取所有联盟的名字(如下图).

Java网页数据采集器[上篇-数据采集]【转载】

然后来附加到 "http://www.footballresults.org/league.php?all=1&league=" 链接后面 来补齐链接, 进而循环读取各个联盟比赛页面的内容.

原文地址:http://www.cnblogs.com/longwu/archive/2011/12/24/2300110.html

Java网页数据采集器[上篇-数据采集]【转载】,布布扣,bubuko.com

Java网页数据采集器[上篇-数据采集]【转载】

上一篇:(8)javascript 引用类型--Object类型


下一篇:QQ互联OAuth2.0 .NET SDK 发布以及网站QQ登陆示例代码