Scrapy学习(二) 框架结构分析

在对Scrapy进行深入学习之前，我们需要对其框架有一定的了解，才能更好的运用Scrapy进行编程

Scrapy结构

对Scrapy结构进行解读，将解读下图：

网上流传甚广的Scrapy结构图 Scrapy分为Scheduler, Downloader, Spiders, Item Pipeline和ScrapyEngine五个组分。

组分名称	作用
Scheduler	调度器，对整体进行调度，负责从Spiders接受存放url和向Downloader发送下载请求
Downloader	下载器，接受Requests和向Spiders发出下载到的Responses
Spiders	负责处理来自Downloader的Responses，把新requests发送给Scheduler，再把需要的Items给Item Pipeline处理
Item Pipeline	处理，保存数据
Scrapy Engine	整体管理

如果再具象一点，就像是一个工厂流水线，Scheduler是老板，负责调度员工和处理订单；Downloader是搬运工人，从网上搬运内容；Spiders是会计，负责向老板提交新订单和接受搬运工的信息；Item Pipeline是仓库管理员，将收集到的信息整理、登记、储存起来。

实际上，幸运的是，这样的一个结构中的大部分已经被安排好了，