目录
1.scrapy教程资料
官方文档
中文版：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
英文版：https://doc.scrapy.org/en/latest/topics/request-response.html
训练资料
scrapy学习篇：https://www.cnblogs.com/cnkai/category/1061919.html
scrapy实战篇：https://www.cnblogs.com/cnkai/category/1062011.html
Redis + Scrapy 搭建分布式爬虫
https://blog.csdn.net/tichimi3375/article/details/82353597#t0
2scrapy安装配置
Anaconda集成环境安装scrapy-推荐
cmd进入控制台，conda install scrapy
pip安装scrapy
pip install scrapy ，该方法安装问题较多
3.介绍scrapy框架
Scrapy 使用了Twisted异步网络库来处理网络通讯。整体架构大致如下
基本组件
(1)引擎（Engine）
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。
(2)调度器（Scheduler）
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
(3)下载器(Downloader)
下载器负责获取页面数据并提供给引擎，而后提供给spider。
(4)爬虫（Spiders）
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
(5)管道（Item Pipeline）
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。
(6)下载器中间件（Downloader middlewares）
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，如下图，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
(7)Spider中间件（Spider middlewares）
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，如下图，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。