Java网页数据采集器[中篇-数据存储]【转载】

本期概述

上期我们学习了html页面的数据采集,为了方便我们今后来调用收集到的数据,首先我们需要学习下如何将这些采集到的数据存储起来(MySql数据库).

数据采集页面 2011-2012赛季英超球队战绩

 

关于Java操作MySql

在使用java 操作MySql数据库之前 我们需要在项目文件中导入 一个jar包(mysql-connector-java-5.1.18-bin)

可以在MySql官网下载 Connector/J 5.1.18

第一次使用MySql?   请看 java连接MYSQL      

如何在java项目中导入jar包?

请看这个 Eclipse下如何导入jar包

关于MySql数据库 

如果是初学者 想使用MySql数据库的话 可以去这里 XAMPP中文官网  下载 XAMPP 套装.

XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建 XAMPP 软件站集成软件包, 而且一键式安装, 无需修改配置文件,非常好用.  

 

好了, 需要准备的事宜都完成了,我们开始写代码.

打开MySql数据库,创建数据库 和表 (拷贝如下代码 到mysql里直接执行即可).

 

创建好后,我们来看看数据库结构.

Java网页数据采集器[中篇-数据存储]【转载】

 

主程序代码
数据库弄好了,我们开始实施java代码, 这里简单介绍下各个类以及类所包含的方法.

DataStorage类 以及包含的 dataStore()方法 用于数据收集和存储 

  DataStructure类  简单数据结构 里面包含了相应的字段  用于将收集的数据临时性存储

 GroupMethod类 以及包含的  regularGroup()方法 用于正则匹配html 源代码上的数据

 MySql类 以及包含的 datatoMySql() 方法 用于执行SQL插入语句 将临时存储在数据结构里的数据 插入到MySql数据库中

 Main 主函数 用于数据输出

 运行查看
好了,下面我们来执行下 看看结果.

数据采集页面 2011-2012赛季英超球队战绩

Html页面截图-初始阶段

Java网页数据采集器[中篇-数据存储]【转载】

 

MySql数据库截图-初始阶段

Java网页数据采集器[中篇-数据存储]【转载】

 

Html页面截图-结束阶段

Java网页数据采集器[中篇-数据存储]【转载】

 

MySql数据库截图-结束阶段

Java网页数据采集器[中篇-数据存储]【转载】

一共收集到 189条记录

Java网页数据采集器[中篇-数据存储]【转载】

MySql数据库显示 189 行数据

Java网页数据采集器[中篇-数据存储]【转载】

这样,我们2011-2012英超联盟赛季的比赛战绩就全部收集并存到MySql数据库里了.

原文地址:http://www.cnblogs.com/longwu/archive/2012/01/03/2310588.html

Java网页数据采集器[中篇-数据存储]【转载】,布布扣,bubuko.com

Java网页数据采集器[中篇-数据存储]【转载】

上一篇:net_kernel:monitor_nodes 订阅node连接\断开消息


下一篇:RabbitMQ下载及安装