Python爬虫:scrapy 的运行流程和各模块的作用

scrapy的运行流程

  • 爬虫 -> 起始URL封装Request -> 爬虫中间件 -> 引擎 -> 调度器(Scheduler): 缓存请求, 请求去重
  • 调度器 -> 请求 -> 引擎 -> 经过下载器中间件 -> 下载器(发送请求, 获取响应数据, 封装Response)
  • 下载器 - Response(响应) -> 经过下载器中间件 -> 引擎
  • 引擎 - response -> 经过爬虫中间件 -> 爬虫 (解析数据, 提取URL封装请求, 提取数据)
  • 爬虫:
    • 提取URL封装请求 -> 爬虫中间件 -> 引擎 -> 调度器
    • 提取数据 -> 引擎 -> 管道(Pipeline: 处理数据, 比如保存)

各个模块及作用:

爬虫模块:

  1. 构建起始请求 2. 响应数据解析(1. 提取URL封装请求, 2. 提取数据) (需要自己写)

调度器模块:

  1. 缓存请求 2. 请求去重 (已经实现了)

下载器模块:

  发送请求, 获取响应数据,封装为Response(已经实现了)

管道模块:

  处理数据, 比如保存(需要自己写)

引擎模块:

  总指挥: 负责模块之间调度, 以及数据传递(已经实现了)

下载器中间件:

  在引擎和下载器之间, 可以对请求和响应数据进行处理, 比如: 实现随机代理IP, 随机User-Agent

爬虫中间件:

  爬虫和引擎之间, 可以对请求和响应数据进行处理, 比如过滤. (很少)

Python爬虫:scrapy 的运行流程和各模块的作用

上一篇:python 里安装 tensorflow 后运行出错的问题解决


下一篇:Python|PyCharm安装scrapy包