使用WebMagic进行java爬虫的总结

2022-10-19 17:18:14

WebMagic介绍

WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。
WebMagic的中文文档

使用过程中的知识总结

1. 只能爬取`http`无法爬取`https`

参考博客（方案一：修改源码，方案二：nginx反向代理）
对于方案二，对nginx进行配置即可

server {
    listen       8808;
    # server_name  partner.domain.com; #可以不设置server_name，修改端口号后直接通过localhost:端口号 进行访问。
    #如果要设置server_name  则需要在hosts中进行配置

      location / {
          proxy_set_header Host github.com;
          proxy_pass https://github.com/;
      }
}

现在通过http://localhost:8808/即可访问到https://github.com/

2. 设置Cookie模拟登陆

由于爬取的网页需要对登陆进行验证，所以可以使用Cookie进行模拟登陆。

2.1. 如何在代码中设置Cookie

参考WebMagic的中文文档中的《4.4 爬虫的配置、启动和终止》

2.2. 如何查看那个Cookie是登录需要的

可以打开浏览器的设置，查看“Cookie 和已存储数据”,在设置中移除相关值之后，网页需重新登录的值则为登录所需的。（排查后发现是key=session）

3. 正则表达式

3.1. 简介

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

3.2. 该项目中所用到的


\w	匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\w-	匹配字母、数字、下划线。等价于 [A-Za-z0-9_] (外加减号)
+	匹配前面的子表达式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。
.	匹配除“\n”和"\r"之外的任何单个字符。要匹配包括“\n”和"\r"在内的任何字符，请使用像“[\s\S]”的模式。
*	匹配前面的子表达式任意次。例如，zo能匹配“z”，也能匹配“zo”以及“zoo”。等价于{0,}。
.*	匹配任意次任何单个字符，即匹配任意字符串。例如`<a href="/news/"><li class="on">全部</li></a>`等价于`<a .*</a>`

[\w-]和[\w]的区别

4. 把爬取数据存入数据库

在官方文档的《4.3 使用Pipeline保存结果》中有“控制台输出结果”和“生成本地json文件的两种方案”，这一节的最后说第7章会讲“实现保存结果到文件、数据库等一系列功能。”结果没发现第7章 = = 。

4.1. 代码

Webmagic爬取网站数据信息保存到本地文件
自己写一个类，实现Pipeline类即可。
然后在代码中写爬取的数据入库逻辑。

public class TestJsonFilePipeline extends FilePersistentBase implements Pipeline {
    private Logger logger = LoggerFactory.getLogger(this.getClass());

    public static TestJsonFilePipeline testJsonFilePipeline;

    @PostConstruct
    public void init(){
        testJsonFilePipeline = this;
    }

    @Autowired
    private LinkMapper linkMapper;

    public TestJsonFilePipeline() {
        this.setPath("/data/webmagic");
    }

    public TestJsonFilePipeline(String path) {
        this.setPath(path);
    }

    /**
     * 关键
     * 把数据存到mysql 
     * @param resultItems
     */
    private void toMysql(ResultItems resultItems){
        final List<String> listLink = JSON.parseArray(JSON.toJSONString(resultItems.get("link")),String.class);
        final List<String> listTitle = JSON.parseArray(JSON.toJSONString(resultItems.get("title")),String.class);
        for (int j = 0; j < listLink.size(); j++) {
            Link link = new Link();
            Link.setLink(listLink.get(j));
            Link.setTitle(listTitle.get(j));
            Link.setPage(resultItems.get("page").toString());
            testJsonFilePipeline.linkMapper.insert(buffLink);
        }
    }

    public void process(ResultItems resultItems, Task task) {
        String path = this.path + PATH_SEPERATOR + task.getUUID() + PATH_SEPERATOR;

        toMysql(resultItems);
        }
}

4.2. 如何在普通类中使用@Autowired注解

Spring @Autowired注解在utils静态工具类非controller普通类中使
对于方法一：

@Component 
public class TestUtils {
    @Autowired
    private ItemService itemService;
    
    @Autowired
    private ItemMapper itemMapper;
    
    public static TestUtils testUtils;
    
    @PostConstruct
    public void init() {    
        testUtils = this;
    } 
    
    //utils工具类中使用service和mapper接口的方法例子，用"testUtils.xxx.方法" 就可以了      
    public static void test(Item record){
        testUtils.itemMapper.insert(record);
        testUtils.itemService.queryAll();
    }
}

我们在init方法中使用以下注解就可以了，时间上这个init()的方法是可以自己随便定义的，注意：inti()方法里面不用写任何东西，跟我这样的就绝对ok了，不用看网上其他人瞎掰！
@PostConstruct

码农公寓