注意！仅供学习交流使用，请勿用在歪门邪道的地方！技术只是工具！关键在于用途！
今天接触了一款有意思的框架，作用是网络爬虫，他可以像操作JS一样对网页内容进行提取
初体验Jsoup
<!-- Maven坐标地址 -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.13.1</version>
</dependency>
我们先来找到博客园的个人首页做一个简单的小练习：https://www.cnblogs.com/hanzhe
调用Jsoup的connect静态函数创建连接，将爬取的目标网站作为参数传递过去：
public class Demo {
public static void main(String[] args) {
Connection connect = Jsoup.connect("https://www.cnblogs.com/hanzhe");
}
}
为了防止爬虫受到限制，这里设置请求头来模仿浏览器客户端，可以参照请求进行修改，例如：
public class Demo {
public static void main(String[] args) {
Connection connect = Jsoup.connect("https://www.cnblogs.com/hanzhe")
// 我这里只设置了一个，如果爬取遇到问题随时添加头信息即可
.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56");
}
}
然后调用execute方法开始进行爬取，通过body取出爬取到的数据：
public class Demo {
public static void main(String[] args) throws IOException {
Connection connect = Jsoup.connect("https://www.cnblogs.com/hanzhe")
.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56");
String body = connect.execute().body();
System.out.println(body);
}
}
可以看到已经爬取到了首页的内容：
但是之前说Jsoup可以向操作JS一样对网页内容进行提取，所以我们在获取爬取内容之前要先对内容进行解析：
public class Demo {
public static void main(String[] args) throws IOException {
Connection connect = Jsoup.connect("https://www.cnblogs.com/hanzhe")
.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56");
// 使用parse函数对爬取到的内容进行解析
Element body = connect.execute().parse().body();
System.out.println(body);
}
}
明显看到解析后的HTML被格式化过，看着非常整齐，而且返回值也从字符串变成了ELement实例，可以通过操作实例实现内容筛选
测试爬取页面随笔
打开F12开发者工具，尝试获取到与随笔标题相关的信息：
观察发现每个随笔的标题都使用postTitle2 vertical-middle两个class进行修饰的，我们可以使用选择器来找到所有标题：
我们就用该选择器在Jsoup中爬取所有随笔标题：
public class Demo {
public static void main(String[] args) throws IOException {
Connection connect = Jsoup.connect("https://www.cnblogs.com/hanzhe")
.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56");
Element body = connect.execute().parse().body();
Elements elementsByClass = body.getElementsByClass("postTitle2 vertical-middle");
elementsByClass.forEach(item->{
System.out.println(item.text());
});
}
}
实战：爬取笔趣阁小说：
被选中的幸运儿：http://www.paoshuzw.com/26/26874/
具体Java代码：
public class 笔趣阁爬取小说 {
// 爬取目标网址：从第一章开始爬取，直至最后一章
private static String url = "http://www.paoshuzw.com/26/26874/13244872.html";
// 输出文件名称(一般为书名)，如果仅仅是想拿来用改这两个参数就够了
private static String fileName = "仓元图";
// 空格，四格位置
private static String space = " ";
// 文件输出流
private static FileWriter writer;
// 计数器
private static int pageCount = 1;
// 启动类函数
public static void main(String[] args) throws Exception {
// 初始化程序
getWriter();
long l = System.currentTimeMillis();
// 循环爬取小说
do {
Element element = nextPage(url);
outputToFile(element);
url = hasNext(element);
} while (url != null);
writer.close();
long time = (System.currentTimeMillis() - l) / 1000;
System.out.println("\n\n 成功爬取所有章节！耗时" + time + "秒");
}
// 爬取页面
private static Element nextPage(String url) throws Exception{
// 获取连接实例，伪造浏览器身份
Connection conn = Jsoup.connect(url)
.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9")
.header("Accept-Encoding", "gzip, deflate")
.header("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6")
.header("Cache-Control", "max-age=0")
.header("Connection", "keep-alive")
.header("Host", url)
.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56");
return conn.execute().parse().body();
}
// 获取当前章节标题
private static String getTitle(Element element) {
return element.select(".bookname h1").text();
}
// 获取章节具体内容
private static String getContent(Element element) {
// 删除底部P标签的广告内容
element.getElementsByTag("p").remove();
// 获取到ID为content的所有HTML内容
String body = element.select("#content").html();
// 对body进行处理，返回正常格式的内容
body = body.replace(" ", space);
body = body.replace("<br>", "");
return body.replace(" \n \n", "\r\n");
}
// 是否有下一页？有返回下一页URL地址，没有就返回NULL
private static String hasNext(Element element) {
// 找到"下一章"的按钮，获取跳转的目标地址
Elements div = element.getElementsByClass("bottem2");
Element a = div.get(0).getElementsByTag("a").get(3);
String href = a.attr("href");
// 通过观察存在下一章的时候URL会以.html结尾，不存在时会跳转到首页，通过这个特点判断是否存在下一章
return href.endsWith(".html") ? "http://www.paoshuzw.com" + href : null;
}
// 获取输出流
private static void getWriter() throws IOException {
String path = "D:/" + fileName + ".txt";
File file = new File(path);
if (file.exists()) {
System.out.println("目标书籍已存在！请修改文件名称或删除原书籍：" + path);
System.exit(0);
}
writer = new FileWriter(file);
}
// 输出到文件
private static void outputToFile(Element element) throws IOException {
String title = getTitle(element);
String content = getContent(element);
String text = space + title + "\r\n\r\n" + content;
writer.write(text);
writer.flush();
System.out.println("==>>【" + title + "】爬取完成，正在爬取下一章（第" + pageCount++ + "次操作）");
}
}