java实现一个简单的爬虫小程序

2023-08-06 22:28:58
前言

前些天无意间在百度搜索了一下以前写过的博客
我啥时候在这么多不知名的网站上发表博客了？？？点进去一看，内容一模一样，作者却不是我...
然后又去搜了其他篇博客，果然，基本上每篇都在别的网站上有，细想，可能是通过网络爬虫爬取博客园首页博客，然后copy至自己网站中，于是乎，博主也来实现一遍爬取流程。。。
实现思路

先访问博客园首页，F12查看源代码，可以看到博客的链接和标题都是放在一个a标签里，
点击一下上一下、下一页，再看一下请求参数，嗯。。。这个应该是页码参数
通过以上这些信息，我们就可以知道只需要每次传入不同的页码访问博客园首页，就可以获得相应博客的html页面返回，然后我们返回的html页面，解析出当页的博客链接和标题就可以啦。
说干就干，下面我们用代码实现模拟下载博客园200页(200 * 20 = 4000篇)博文的程序
具体实现

直接上代码了，注释都在代码中
import java.io.*;

import java.net.URL;

import java.net.URLConnection;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;

import java.util.Map;

import java.util.concurrent.CopyOnWriteArrayList;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

 * @ClassName BKYPageReptile

 * @Description TODO(爬取博客园文章)

 * @Author 我恰芙蓉王

 * @Date 2020年08月11日 9:38

 * @Version 2.0.0

 **/

public class BKYPageReptile {

    //请求地址

    private static final String URL = "https://www.cnblogs.com";

    //保存路径

    private static final String TARGET_PATH = "F://" + "博客园";

    //行匹配正则

    private static final Pattern LINE_PATTERN = Pattern.compile("<a class=\"post-item-title\" href=\"https://www.cnblogs.com/.*?\\.html\" target=\"_blank\">.*?</a>");

    //url正则

    private static final Pattern URL_PATTERN = Pattern.compile("https://www.cnblogs.com/.*?\\.html");

    //标题/文件名正则

    private static final Pattern TITLE_PATTERN = Pattern.compile(">.*?</a>");

    //标题缓存

    private static final List<String> TITLE_LIST = new CopyOnWriteArrayList<>();

    //当前页数

    private static int PAGE = 1;

    //最大拉取页数

    private static final int MAX_PAGE = 200;

    //一共拉取博客篇数

    private static int ALL_COUNT = 0;

    //时间格式

    private static final SimpleDateFormat SDF = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

    public static void main(String[] args) {

        //创建根目录

        File rootDir = new File(TARGET_PATH);

        if (!rootDir.exists()) {

            rootDir.mkdir();

        }

        //创建日志文件夹

        String logPath = TARGET_PATH + "//拉取日志";

        File logDir = new File(logPath);

        if (!logDir.exists()) {

            logDir.mkdir();

        }

        //创建日志文件

        File logFile = new File(logPath + "//log.txt");

        if (!logFile.exists()) {

            try {

                logFile.createNewFile();

            } catch (IOException e) {

                e.printStackTrace();

            }

        }

        //循环拉取

        while (PAGE <= MAX_PAGE) {

            //日志内容

            String logContent = "正在拉取第" + PAGE + "页\n";

            System.err.println("\n" + logContent);

            String param = "PageIndex=" + PAGE;

            try {

                //获取指定页页返回内容

                String response = sendPost(URL, param);

                Matcher matcher = LINE_PATTERN.matcher(response);

                //需要写入的文件集合

                ArrayList<FileTemplate> urlList = new ArrayList<>(20);

                /**

                 * 解析返回内容封装成FileTemplate

                 */

                while (matcher.find()) {

                    //匹配行

                    String matchLine = matcher.group();

                    Matcher matcher1 = TITLE_PATTERN.matcher(matchLine);

                    String title = null;

                    while (matcher1.find()) {

                        //匹配的标题    >标题</a>

                        title = matcher1.group();

                    }

                    //截取拿到真实标题

                    title = title.substring(1, title.length() - 4);

                    //特殊字符处理

                    title = title.replace("<", "《")

                            .replace(">", "》")

                            .replace("\\", "-")

                            .replace("/", "-")

                            .replace(":", "：")

                            .replace("*", "")

                            .replace("?", "？")

                            .replace("|", "")

                            + ".html";

                    System.err.println("title = " + title);

                    //如果已经拉取了此标题的html文件   则跳过此篇

                    if (TITLE_LIST.contains(title)) {

                        continue;

                    }

                    Matcher matcher2 = URL_PATTERN.matcher(matchLine);

                    String url = null;

                    while (matcher2.find()) {

                        //匹配博客的请求url

                        url = matcher2.group();

                    }

                    //封装成文件模板对象

                    urlList.add(new FileTemplate(url, title, false));

                }

                /**

                 * 写入磁盘

                 */

                urlList.parallelStream().forEach(v -> {

                    FileOutputStream fos = null;

                    PrintWriter pw = null;

                    try {

                        String result = sendGet(v.getGetUrl(), "");

                        File file = new File(TARGET_PATH + File.separator + v.getTitle());

                        file.createNewFile();

                        fos = new FileOutputStream(file);

                        pw = new PrintWriter(fos);

                        pw.write(result.toCharArray());

                        pw.flush();

                        v.setFlag(true);

                        TITLE_LIST.add(v.getTitle());

                    } catch (Exception e) {

                        System.out.println(v.toString());

                        e.printStackTrace();

                    } finally {

                        try {

                            if (fos != null) {

                                fos.close();

                            }

                            if (pw != null) {

                                pw.close();

                            }

                        } catch (IOException e) {

                            e.printStackTrace();

                        }

                    }

                });

                /**

                 * 记录日志

                 */

                //本次写入成功博客数

                long count = urlList.stream().filter(v -> v.getFlag()).count();

                String date = SDF.format(new Date());

                //累加次数

                ALL_COUNT += count;

                logContent += "本次拉取完成,共  " + count + "  篇新博客\r\n";

                logContent += "一共拉取了  " + ALL_COUNT + "  篇\r\n";

                logContent += "时间 : " + date + "\n\n";

                BufferedWriter out = null;

                try {

                    out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(logFile, true)));

                    out.write(logContent + "\r\n");

                } catch (Exception e) {

                    e.printStackTrace();

                } finally {

                    try {

                        out.close();

                    } catch (IOException e) {

                        e.printStackTrace();

                    }

                }

                PAGE++;

            } catch (Exception e) {

                e.printStackTrace();

            }

        }

    }

    /**

     * 文件模板类

     */

    private static class FileTemplate {

        /**

         * 请求地址

         */

        private String getUrl;

        /**

         * 标题

         */

        private String title;

        /**

         * 已经爬取标识

         */

        private boolean flag;

        public FileTemplate(String getUrl, String title, boolean flag) {

            this.getUrl = getUrl;

            this.title = title;

            this.flag = flag;

        }

        public String getGetUrl() {

            return getUrl;

        }

        public void setGetUrl(String getUrl) {

            this.getUrl = getUrl;

        }

        public String getTitle() {

            return title;

        }

        public void setTitle(String title) {

            this.title = title;

        }

        @Override

        public String toString() {

            final StringBuilder sb = new StringBuilder("FileTemplate{");

            sb.append("getUrl='").append(getUrl).append('\'');

            sb.append(", title='").append(title).append('\'');

            sb.append('}');

            return sb.toString();

        }

        public boolean getFlag() {

            return flag;

        }

        public void setFlag(boolean flag) {

            this.flag = flag;

        }

    }

    /**

     * 功能描述: 向指定URL发送GET请求

     *

     * @param url   发送请求的URL

     * @param param 请求参数，请求参数应该是 name1=value1&name2=value2 的形式

     * @创建人: 我恰芙蓉王

     * @创建时间: 2020年08月11日 16:42:17

     * @return: java.lang.String  响应结果

     **/

    public static String sendGet(String url, String param) {

        StringBuilder sb = new StringBuilder();

        BufferedReader in = null;

        try {

            String urlNameString = url + "?" + param;

            URL realUrl = new URL(urlNameString);

            // 打开和URL之间的连接

            URLConnection connection = realUrl.openConnection();

            // 设置通用的请求属性

            connection.setRequestProperty("accept", "*/*");

            connection.setRequestProperty("connection", "Keep-Alive");

            connection.setRequestProperty("user-agent",

                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

            // 建立实际的连接

            connection.connect();

            // 获取所有响应头字段

            Map<String, List<String>> map = connection.getHeaderFields();

            // 定义 BufferedReader输入流来读取URL的响应

            in = new BufferedReader(new InputStreamReader(

                    connection.getInputStream()));

            String line;

            while ((line = in.readLine()) != null) {

                sb.append(line);

            }

        } catch (Exception e) {

            System.out.println("发送GET请求出现异常！" + e);

            e.printStackTrace();

        }

        // 使用finally块来关闭输入流

        finally {

            try {

                if (in != null) {

                    in.close();

                }

            } catch (Exception e2) {

                e2.printStackTrace();

            }

        }

        return sb.toString();

    }

    /**

     * 功能描述: 向指定URL发送POST请求

     *

     * @param url   发送请求的URL

     * @param param 请求参数，请求参数应该是 name1=value1&name2=value2 的形式

     * @创建人: 我恰芙蓉王

     * @创建时间: 2020年08月11日 16:42:17

     * @return: java.lang.String  响应结果

     **/

    public static String sendPost(String url, String param) {

        PrintWriter out = null;

        BufferedReader in = null;

        StringBuilder sb = new StringBuilder();

        try {

            URL realUrl = new URL(url);

            // 打开和URL之间的连接

            URLConnection conn = realUrl.openConnection();

            // 设置通用的请求属性

            conn.setRequestProperty("accept", "*/*");

            conn.setRequestProperty("connection", "Keep-Alive");

            conn.setRequestProperty("user-agent",

                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

            // 发送POST请求必须设置如下两行

            conn.setDoOutput(true);

            conn.setDoInput(true);

            // 获取URLConnection对象对应的输出流

            out = new PrintWriter(conn.getOutputStream());

            // 发送请求参数

            out.print(param);

            // flush输出流的缓冲

            out.flush();

            // 定义BufferedReader输入流来读取URL的响应

            in = new BufferedReader(

                    new InputStreamReader(conn.getInputStream()));

            String line;

            while ((line = in.readLine()) != null) {

                sb.append(line);

            }

        } catch (Exception e) {

            System.out.println("发送 POST 请求出现异常！" + e);

            e.printStackTrace();

        }

        //使用finally块来关闭输出流、输入流

        finally {

            try {

                if (out != null) {

                    out.close();

                }

                if (in != null) {

                    in.close();

                }

            } catch (IOException ex) {

                ex.printStackTrace();

            }

        }

        return sb.toString();

    }

}
测试结果

控制台输出
下载在电脑磁盘中
日志文件内容
随便打开一个html文件
码农公寓

前言

实现思路

具体实现

测试结果

相关文章
