新建一个hSpider的工程，引入前面已经建立的lib
并为其建立一个hibernate.cfg.xml的映射文件
<?xml version='1.0' encoding='utf-8'?>
<!DOCTYPE hibernate-configuration PUBLIC
"-//Hibernate/Hibernate Configuration DTD 3.0//EN"
"http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> <hibernate-configuration> <session-factory> <!-- Database connection settings 数据库的配置 -->
<property name="connection.driver_class">com.mysql.jdbc.Driver</property>
<property name="connection.url">jdbc:mysql://localhost:3306/hSpider</property>
<property name="connection.username">root</property>
<property name="connection.password"></property> <!-- JDBC connection pool (use the built-in) hibernate自带连接池，暂不使用 -->
<!-- <property name="connection.pool_size">1</property> --> <!-- SQL dialect 数据库方言，这里我们才爱用MySQL-->
<property name="dialect">org.hibernate.dialect.MySQLDialect</property> <!-- Enable Hibernate's automatic session context management 新功能，暂不使用 -->
<!-- <property name="current_session_context_class">thread</property> --> <!-- Disable the second-level cache 二级缓存，放置不管 -->
<property name="cache.provider_class">org.hibernate.cache.NoCacheProvider</property> <!-- Echo all executed SQL to stdout 设置show_sql为true表示让hibernate将生成sql语句在控制台打印出来 -->
<property name="show_sql">true</property> <!-- Drop and re-create the database schema on startup 是否让hibernate自动为我们创建表 -->
<!-- <property name="hbm2ddl.auto">update</property> --> <mapping resource="hibernateSpider/edNews.hbm.xml"/> <!-- 这里是将需要mapping的文件进行再次声明 --> </session-factory> </hibernate-configuration>
新建`hSpider`包依次点击打开HibernateSpider->右键src->New->Package
新建`edNews`类依次点击打开HibernateSpider->src->hSpider->New->Class
public class edNews {
private int id;
private String ednews;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public String getNews(){
return ednews;
}
public void setNews(news ednews){
this.ednews = ednews.ednews;
}
}
edNews
并为其新建一个edNews.hbm.xml映射文件（必须跟edNEws在同一个包中）
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE hibernate-mapping PUBLIC
"-//Hibernate/Hibernate Mapping DTD 3.0//EN"
"http://hibernate.sourceforge.net/hibernate-mapping-3.0.dtd"> <hibernate-mapping>
<class name="hibernateSpider.edNews" table="ednews">
<id name="id" type="int">
<column name="id" />
<generator class="increment" />
</id>
<property name="news" type="string">
<column name="news" length="255" />
</property> </class>
</hibernate-mapping>
新建一个news类（用于显示）
public class news {
public String ednews;
// 构造方法初始化数据
public news() {
ednews = "";
}
@Override
public String toString() {
return "公告：" + ednews + "\n";
}
}
News
新建一个Spider类，这个是爬虫代码的实现
package hibernateSpider; import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class Spider {
public static String SendGet(String url) {
// 定义一个字符串用来存储网页内容
String result = "";
// 定义一个缓冲字符输入流
BufferedReader in = null; try {
// 将string转成url对象
URL realUrl = new URL(url);
// 初始化一个链接到那个url的连接
URLConnection connection = realUrl.openConnection();
// 开始实际的连接
connection.connect();
// 初始化 BufferedReader输入流来读取URL的响应
in = new BufferedReader(new InputStreamReader(
connection.getInputStream(), "UTF-8"));
// 用来临时存储抓取到的每一行的数据
String line;
while ((line = in.readLine()) != null) {
// 遍历抓取到的每一行并将其存储到result里面
result += line;
}
} catch (Exception e) {
System.out.println("发送GET请求出现异常！" + e);
e.printStackTrace();
}
// 使用finally来关闭输入流
finally {
try {
if (in != null) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
}
return result; } public static ArrayList<news> GetNews(String content) {
// 预定义一个ArrayList来存储结果
ArrayList<news> results = new ArrayList<news>();
// 用来匹配标题
Pattern questionPattern = Pattern.compile("ggtz/\\d{4}.shtml.+?>(.+?)<");
Matcher questionMatcher = questionPattern.matcher(content);
// 用来匹配url，也就是问题的链接
Pattern urlPattern = Pattern.compile("ggtz/\\d{4}.shtml.+?>(.+?)<");
Matcher urlMatcher = urlPattern.matcher(content); // 问题和链接要均能匹配到
boolean isFind = questionMatcher.find() && urlMatcher.find(); while (isFind) {
// 定义一个news对象（公告对象）来存储抓取到的信息
news newsTemp = new news();
newsTemp.ednews= questionMatcher.group(1); // 添加成功匹配的结果
results.add(newsTemp);
// 继续查找下一个匹配对象
isFind = questionMatcher.find() && urlMatcher.find();
}
return results;
} }
Spider
最后，测试一下结果
public class MainTest {
public static void main(String[] args) {
// 定义即将访问的链接
String url = "http://jwc.gdut.edu.cn/";
// 访问链接并获取页面内容
String content = Spider.SendGet(url);
// 获取该页面的所有的命题对象
ArrayList<news> myNews = Spider. GetNews(content);
// 打印结果
for(int i = 0; i < myNews.size(); i++){
System.out.println(myNews.get(i));
edNews aNew = new edNews() ;//新建我们需要存储的类对象，并且设置其对象的一些属性
aNew.setId(i);
aNew.setNews(myNews.get(i));
{
//Configuration主要用以读取配置文件
Configuration cfg = new Configuration();
SessionFactory sf = cfg.configure().buildSessionFactory();
//buildSessionFactory();得到一个创建Session的工场
Session ss = sf.openSession();
ss.beginTransaction();//OK，将操作放入事务中
ss.save(aNew);//保存你的对象
ss.getTransaction().commit();//得到事务并提交
ss.close();//Session关闭
sf.close();//工厂关闭
}
}
}
}
MainTest