scrapy (三）各部分意义及框架示意图详解

 一、      框架示意图  

Scrapy  由    Python    编写     ，     是     一个快速、高层次的屏幕抓取和  web  抓取框架，用于抓取   web   站点并从页面中提取结构化的数据。   Scrapy   用途广泛，可以用于数据挖掘、监测和自动化测试。  

 

   

 

1、Scrapy Engine(引擎): 引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。

2、Scheduler(调度器): 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

3、Downloader（下载器）： 下载器负责获取页面数据并提供给引擎，而后提供给spider。

4、Spider（爬虫）： Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

5、Item Pipeline(管道)： Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存储到数据库中)。

6、Downloader Middlewares（下载中间件）： 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

7、Spider Middlewares（Spider中间件）： Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

(2).最新版

1、引擎：怎么样，爬虫老弟，搞起来啊！

2、Spider：好啊，老哥，来来来，开始吧。今天就爬xxx网站怎么样

3、引擎：没问题，入口URL发过来！

4、Spider：呐，入口URL是https://ww.xxx.com。

5、引擎：调度器老弟，我这有request请求你帮我排序入队一下吧。

6、调度器：引擎老哥，这是我处理好的request。

7、引擎：下载器老弟，你按照下载中间件的设置帮我下载一下这个request请求。

8、下载器：可以了，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

9、引擎：爬虫老弟，这是下载好的东西，下载器已经按照下载中间件处理过了，你自己处理一下吧。

10、Spider：引擎老哥，我的数据处理完毕了，这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

11、引擎：管道老弟，我这儿有个item你帮我处理一下！

12、引擎：调度器老弟，这是需要跟进URL你帮我处理下。（然后从第四步开始循环，直到获取完需要全部信息）

 
 

 
 

 二、爬虫人员的主要工作  

 

1  、创建一个   Scrapy   项目  

2  、定义提取的   Item

3  、编写爬取网站的    spider    并提取    Item

4  、编写    Item Pipeline    来存储提取到的   Item(   即数据   )

 

 三、  scrapy  基本流程  

 

 

 

 

 

 

 四、  scrapy   框架各部分详解  

1、             Scrapy Items              ：       定义您想抓取的数据  

import scrapy

class TorrentItem(scrapy.Item):

    name = scrapy.Field()

2、spiders：      编写提取数据的  Spider

1  ）     ：     定义初始  URL    根网址     、     针对后续链接的规则以及从页面中提取数据的规则     （即写正则或  xpath  等等）     。

2  ）     执行  spider  ，获取数据  

 注     ：     运行  spider  来获取网站的数据，并以   JSON   格式存入到    scraped_data.json      文件中   :  

terminal  ：   scrapy crawl mininova -o scraped_data.json

3、编写 item      pipeline        将  item存储到数据库中

 注：  

1    ）     、    Item  在   Spider   中被收集之后，它将会被传递到   Item Pipeline   ，一些组件会按照一定的顺序执行对   Item   的处理     ；  

2  ）     每个  item pipeline  组件   (   有时称之为   “Item Pipeline”)   是实现了简单方法的   Python   类。他们接收到   Item   并通过它执行一些行为，同时也决定此   Item   是否继续通过   pipeline   ，或是被丢弃而不再进行处理。

3  ）    item pipeline  的一些典型应用：  

a    ）清理  HTML  数据  

b    ）验证爬取的数据  (  检查   item   包含某些字段   )

c    ）查重  (  并丢弃   )

4  ）将爬取结果保存到数据库中  

4、编写自己的item pipeline

 注：每个  item pipiline  组件是一个独立的   Python   类，同时必须实现以下方法   :

1  ）   process_item(item, spider)

 每个  item pipeline  组件都需要调用该方法，这个方法必须返回一个    Item (   或任何继承类   )   对象， 或是抛出    DropItem   异常，被丢弃的   item   将不会被之后的   pipeline   组件所处理。  

 参数  :

item (Item   对象   )    – 被爬取的   item

spider (Spider   对象   )    – 爬取该   item   的   spider

2  ）   open_spider(spider)

 当  spider  被开启时，这个方法被调用。  

 参数  :   spider (Spider   对象   )    – 被开启的   spider

3  ）   close_spider(spider)

 当  spider  被关闭时，这个方法被调用  

 参数  :   spider (Spider   对象   )    – 被关闭的   spider

5、查看提取到的数据

 执行结束后，查看   scraped_data.json ,   将看到提取到的   item:

 注         ：  1    ）     由于   selectors   返回   list,    所以值都是以   list   存储的   (   除了    url    是直接赋值之外   )   。  

2    ）          Item Loaders          ：     可以     保存单个数据或者对数据执行额外的处理