- 需求：查找四川大学所有学院的网站的网址中的通知和新闻——以计算机学院为例
- 流程图
3. 具体步骤
(1) 学院的主页为：http://cs.scu.edu.cn/ 获取该页面的所有内容（本文只获取新闻的具体内容，通知的只需要更改下正则表达式)
/**
* 获取要抓取页面的所有内容
* @param url 网页地址
* @return
*/
public static String sendGet(String url) { BufferedReader in = null;
String result = "";
// 通过HttpClientBuilder创建HttpClient
HttpClientBuilder httpClientBuilder = HttpClientBuilder.create();
CloseableHttpClient client = httpClientBuilder.build(); HttpGet httpGet = new HttpGet(url);
// 设置请求和传输超时时间
RequestConfig requestConfig = RequestConfig.custom()
.setConnectTimeout(5000).build();
httpGet.setConfig(requestConfig); System.out.println(httpGet.getRequestLine()); try {
HttpResponse httpResponse = client.execute(httpGet); int statusCode = httpResponse.getStatusLine().getStatusCode(); // 响应状态
System.out.println("status:" + statusCode);
if (statusCode == HttpStatus.SC_OK) {
// 获取响应的消息实体
HttpEntity entity = httpResponse.getEntity(); // 判断实体是否为空
if (entity != null) {
System.out.println("contentEncoding:"
+ entity.getContentLength()); in = new BufferedReader(new InputStreamReader(
entity.getContent(), "GBK")); String line;
while ((line = in.readLine()) != null) {
// 遍历抓取到的每一行并将其存储到result里面
result += line;
}
}
}
} catch (Exception e) { e.printStackTrace();
} finally {
try {
client.close();
if (in != null) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
}
return result;
}
(2) 使用正则表达式提取通知页面和新闻页面的地址
指向新闻页的地址源码为：<MAP name=Map3><AREA shape=RECT target=_blank coords=498,27,539,37 href="/cs/xyxw/H9501index_1.htm">
所以正则表达式为:coords=498,27,539,37 href=\"(.+?)\">
指向通知页的地址源码为：<MAP name=Map6><AREA shape=RECT target=_blank coords=498,11,538,23 href="/cs/xytz/H9502index_1.htm"></MAP>
所以正则表达式可以为:coords=498,11,538,23 href=\"(.+?)\">
/**
* 查找主页中的新闻和通知的URL
* @param context 主页内容
* @param type 查找类型
* @return
*/
public static String getURL(String context, int type) { Pattern pattern;
Matcher matcher; if (type == 0) {// 当type=0时，查找新闻
// 创建Pattern对象
pattern = Pattern.compile("coords=498,27,539,37 href=\"(.+?)\">");
// 创建Matcher对象，并匹配
matcher = pattern.matcher(context); if (matcher.find()) {// 查看是否找到，找到返回
return "http://cs.scu.edu.cn" + matcher.group(1);
}
} else if (type == 1) {// 当type=1时，查找通知
pattern = Pattern.compile("coords=498,11,538,23 href=\"(.+?)\">");
matcher = pattern.matcher(context);
if (matcher.find()) {
return "http://cs.scu.edu.cn" + matcher.group(1);
}
} else {
return "输入的type不正确";
}
return null;
}
得到新闻和通知地址：
a) 新闻页面地址为 http://cs.scu.edu.cn/cs/xyxw/H9501index_1.htm
b) 通知页面地址为 http://cs.scu.edu.cn/cs/xytz/H9502index_1.htm
(3)获取所有新闻的URL:（以新闻为例）
新闻的具体内容的地址在源码中的表示:
<A href=/cs/xyxw/webinfo/2016/06/1466645005004306.htm target=_blank>计算机学院（软件学院）第三届第六次双代会圆满举行</A></TD></TD><TD><DIV align=right><FONT size=2>[2016-06-30]
所以正则匹配表达式为:<A href=/cs/xyxw/webinfo(.+?) target=_blank>
/**
* 查询具体新闻所在页面的所有URL
* @param url
* @return
*/
public static List<String> getRealURL(String url) { // 存储URL地址
List<String> list = new ArrayList<>();
// 获取的主页内容
String context = sendGet(url);
System.out.println(context);
// 匹配新闻地址的正则表达式
Pattern pattern = Pattern
.compile("<A href=/cs/xyxw/webinfo(.+?) target=_blank>");
Matcher matcher = pattern.matcher(context); // 匹配url中的数字2(2表示页数，可以通过观察地址得出) :
// http://cs.scu.edu.cn/cs/xyxw/H9501index_2.htm
// http://cs.scu.edu.cn/cs/xyxw/H9501index_3.htm
Pattern patternNext = Pattern.compile("index_(.+?).htm");
Matcher matcherNext = patternNext.matcher(url); int i = 0;
if (matcherNext.find()) {
System.out.println(matcherNext.group(1));
// 设置i为当前页数
i = Integer.parseInt(matcherNext.group(1));
} boolean isFind = matcher.find(); while (isFind) {
while (isFind) {// 遍历当前页的所有新闻的URL
// 将获取的URL存储到list中
list.add("http://cs.scu.edu.cn/cs/xyxw/webinfo"
+ matcher.group(1));
isFind = matcher.find();
} i++;
// 下一页地址
String nextUrl = "http://cs.scu.edu.cn/cs/xyxw/H9501index_" + i + ".htm";
context = sendGet(nextUrl);
// 匹配新页面
matcher = pattern.matcher(context);
isFind = matcher.find();
}
return list;
}
得到结果:
(4)获取具体新闻页的信息：
a)使用封装类:
package com.huang.domain;
import java.util.Date;
public class Message {
private String type; //类型是新闻还是通知
private String title; //信息标题
private Date date; //信息发布时间
private String pic; //相关图片
private String context; //具体信息内容
public String getPic() {
return pic;
}
public void setPic(String pic) {
this.pic = pic;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getContext() {
return context;
}
public void setContext(String context) {
this.context = context;
}
public Date getDate() {
return date;
}
public void setDate(Date date) {
this.date = date;
}
public String getType() {
return type;
}
public void setType(String type) {
this.type = type;
}
@Override
public String toString() {
return "Message [title=" + title + ", date=" + date + ", pic=" + pic
+ ", context=" + context + "]";
}
}
(b)获取新闻具体页的信息：
/**
* 获取所有新闻页和通知页具体信息
* @param listUrl
* @return
*/
public static List<Message> getAllInformation(List<String> listUrl) { Pattern pattern;
Matcher matcher;
// 存储查到的每条新闻
List<Message> list = new ArrayList<>(); // 根据前面获取的所有页面的url,遍历所有的信息主页，获取相关信息
for (String url : listUrl) { Message message = new Message();
// 获取当页信息的全部信息
String context = sendGet(url);
// 获取标题
pattern = Pattern.compile("<DIV align=center> (.+?)</DIV>");
matcher = pattern.matcher(context);
if (matcher.find()) {// 设置标题
message.setTitle(matcher.group(1));
}
// 获取日期
pattern = Pattern.compile("</SPAN> ([0-9].+?)<SPAN class=hangjc "
+ "style=\"LINE-HEIGHT: 30px\" valign=\"bottom\">");
matcher = pattern.matcher(context);
if (matcher.find()) {// 设置日期
SimpleDateFormat format = new SimpleDateFormat(
"yyyy-MM-dd HH:mm");//设置日期格式
try {
//将字符串转换成date类型
Date date = format.parse(matcher.group(1));
message.setDate(date);
} catch (ParseException e) {
System.out.println("日期格式不正确");
e.printStackTrace();
}
}
//获取图片
pattern = Pattern.compile("align=center src=\"(.+?).jpg\"");
matcher = pattern.matcher(context);
if (matcher.find()) {//设置图片
message.setPic("http://cs.scu.edu.cn/" + matcher.group(1)
+ ".jpg");
}
//获取内容
pattern = Pattern.compile("<DIV id=BodyLabel>.+?</DIV>");
matcher = pattern.matcher(context);
if (matcher.find()) {//设置内容
String result = matcher.group(0);
//过滤一些内容中的标签
result = result.replaceAll(" ", " ");
result = result.replaceAll("<br>", "\r\n");
result = result.replaceAll("<.*?>", "");
message.setContext(result);
}
//将查询到的新闻添加到list中
list.add(message);
}
return list;
}
（5）测试代码:
public static void main(String[] args) {
//获取计算机学院主页中的所有信息
String context = Spider.sendGet("http://cs.scu.edu.cn/");
System.out.println(context);
//获取新闻所在页的地址
String newsUrl = Spider.getURL(context, 0);
//查找每个新闻的地址
List<String> listUrl = Spider.getRealURL(newsUrl);
System.out.println(listUrl);
//查到出每个新闻的内容
List<Message> messages = Spider.getAllInformation(listUrl);
System.out.println(messages);
}
(java正则知识可以参考：http://www.runoob.com/java/java-regular-expressions.html)