7.scrapy中间件

2024-03-01 21:34:58

scrapy中间件

1. 中间件

1.1 什么是中间件

如果有学过django的同学，应该对这个名词不陌生了，在django中，中间件可以对请求做统一批量的处理

那么在爬虫中，中间件的作用也是做批量处理的，比如把所有请求的请求头添加一个值等等等。

由于爬虫是一个发请求，获取响应的过程，所以在scrapy框架中有两个中间件。

2. 两种中间件

在scrapy框架中所谓的中间件本质上就是一个类，里面有一些方法。

当然你想应用中间件，必须要在settings文件中注册一下，优先级仍然是数值小的优先级高，一般放在上面。

# 爬虫中间件
SPIDER_MIDDLEWARES = {
   'spider1.middlewares.Spider1SpiderMiddleware': 543,
}

# 下载中间件
DOWNLOADER_MIDDLEWARES = {
   'spider1.middlewares.Spider1DownloaderMiddleware': 543,
}

2.1 爬虫中间件

实际上中间件的方法只有四个就行了，但是框架给我们绑定了一个爬虫打开时的信号。

from scrapy import signals


class Spider1SpiderMiddleware:


    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        s = cls()
        # 创建spider(爬虫对象)的时候,注册一个信号
        # 信号: 当爬虫的打开的时候 执行 spider_opened 这个方法
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        return s

    def process_spider_input(self, response, spider):
        # 下载完成后,执行,然后交给parse处理
        return None

    def process_spider_output(self, response, result, spider):
        """
        经历过parse函数之后执行
        :param response: 上一次请求返回的结果
        :param result: yield的对象 包含 [item/Request] 对象的可迭代对象
        :param spider: 当前爬虫对象
        :return: 返回Request对象 或 Item对象
        """
        for i in result:
            yield i

    def process_spider_exception(self, response, exception, spider):
    
        """如果执行parse抛出异常的话 会执行这个函数 默认不对异常处理交给下一个中间件处理"""
        pass

    def process_start_requests(self, start_requests, spider):
     
        """
        爬虫启动时调用
        :param start_requests: 包含 Request 对象的可迭代对象
        :param spider:
        :return: Request 对象
        """
        for r in start_requests:
            yield r

    def spider_opened(self, spider):
        # 生成爬虫日志
        spider.logger.info('Spider opened: %s' % spider.name)

2.1.1 方法解析

爬虫开始时有个起始url，这个时候会经过爬虫中间件的 process_start_requests 方法，然后去下载，接着

我们看到 process_spider_input 和 process_spider_output 这两个方法中参数都有一个response参数可以判断出

这两个方法都是在下载完成后，拿到response之后才会执行的。

当下载完成后再经过爬虫中间件，这个时候会执行 process_spider_input 方法，这个时候的response中有

包含这次请求的所有内容，其中请求的request对象也被封装成了 response.resquest 。

然后来到 spider 文件中，经历parse方法，这个时候返回值可能是Request对象或者item对象，然后如果

parse 方法中抛出异常会执行爬虫中间件的 process_spider_exception 方法，一般情况下无异常，继续走爬虫

中间件中的 process_spider_output 方法。这就是爬虫中间件中方法的在什么地方执行的过程。

至于没讲到的那两个方法，是基于信号做出的关于爬虫开启时日志的拓展。对爬虫中间件无影响，后面我会将

到关于信号实现的自定义拓展。

2.2 下载中间件

默认下载中间件源码：

class Spider1DownloaderMiddleware:


    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        # 这个方法同上,和爬虫中间件一样的功能
        s = cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        return s

    def process_request(self, request, spider):
  
        """
        请求需要被下载时,经过所有下载中间件的process_request调用
        spider处理完成,返回时调用
        :param request:
        :param spider:
        :return:
            None,继续往下执行,去下载
            Response对象,停止process_request的执行,开始执行process_response
            Request对象,停止中间件的执行,将Request重新放到调度器中
            raise IgnoreRequest异常,停止process_request的执行,开始执行process_exception
        """
        return None

    def process_response(self, request, response, spider):

        """
        下载得到响应后,执行
        :param request: 请求对象
        :param response: 响应对象
        :param spider: 爬虫对象
        :return:
            返回request对象,停止中间件,将Request对象重新放到调度器中
            返回response对象,转交给其他中间件process_response
            raise IgnoreRequest 异常: 调用Request.errback
        """
        return response

    def process_exception(self, request, exception, spider):
        
        """当下载处理器(download handler)或process_request() (下载中间件)抛出异常
            :return
                None: 继续交给后续中间件处理异常
                Response对象: 停止后续process_exception方法
                Request对象: 停止中间件,request将会被重新调用下载
        """
        pass

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

2.2.1 process_request

process_request(self, request, spider)

该方法是下载器中间件类中的一个方法，该方法是每个请求从引擎发送给下载器下载之前都会经过该方法。所以该

方法经常用来处理请求头的替换，IP的更改，Cookie等的替换。

参数:

request (Request 对象) – 处理的request
spider (Spider 对象) – 该request对应的spider

返回值：

返回 None：Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数

(download handler)被调用，该request被执行(其response被下载)。

如果其返回Response对象：Scrapy将不会调用任何其他的 process_request ( ) 或 process_exception ( )

方法，或相应地下载函数；其将返回response。

如果其返回Request对象，Scrapy则停止调用 process_request 方法并重新调度返回的request。当新返回的

request被执行后，相应地中间件链将会根据下载的response被调用。

如果其raise一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception ( ) 方法会被调用。如

果没有任何一个方法处理该异常，则request的 errback(Request.errback) 方法会被调用。如果没有代码处

理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

2.2.2 process_response

process_response(self, request, response, spider)

该方法是下载器中间件类中的一个方法，该方法是每个响应从下载器发送给spider之前都会经过该方法。

参数：

request (Request 对象) – response所对应的request
response (Response 对象) – 被处理的response
spider (Spider 对象) – response所对应的spider

返回值：

如果其返回一个Response (可以与传入的response相同，也可以是全新的对象)，该response会被其他中间件的

process_response() 方法处理。

如果其返回一个Request对象，则返回的request会被重新调度下载。处理类似于 process_request() 返回

request所做的那样。

如果其抛出一个 IgnoreRequest 异常，则调用request的 errback(Request.errback) 。如果没有代码处理

抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

2.2.3 随机替换User-Agent

一般门户网站都会在请求头中的User-Agent中设置反爬，所以我们经常会在写爬虫的时候，要手动处理

User-Agent，但是一般情况下我们都是大批量爬取，如果在这里指定一个 User-Agent 的话，也会可能被

网站检测出来是爬虫，这里我们提供一种随机 User-Agent 的方法。

import Faker

class UserAgentDownloaderMiddleware(object):
    
    def __init__(self):
        self.fake = faker.Faker()
        
    def process_request(self, request, spider):
        # 随机生成一个User-Agent
        useragent = self.fake.user_agent()
        # 更新请求头的内容
        request.headers.update({"User-Agent": useragent})
        return None

2.2.4 设置cookie值

有时候我们想要爬取的数据可以需要登录才能看到，这时候我们就需要登录网页。登陆后的网页一般都会在本地保存
该网页的登录信息Cookies在本地。只要获取该Cookie，那么在以后跳转到其他网页的时候，只需要携带该Cookie即可。

class UserAgentDownloaderMiddleware(object):
    
    def __init__(self):
        self.fake = faker.Faker()
        
    def process_request(self, request, spider):
        # 随机生成一个User-Agent
        useragent = self.fake.user_agent()
        # 更新请求头的内容
        request.headers.update({"useragent": useragent})
        return None

2.2.5 设置代理

工作中你用爬虫，一定最常用的就是代理，这里我们可以自定义代理中间件

def get_proxy():
    """获取代理的函数"""
    response = requests.get('http://134.175.188.27:5010/get/')
    data = response.json()
    return data["proxy"]


class ProxyDownloaderMiddleware(object):
    """代理中间件"""
    def process_request(self, request, spider):
        request.meta['proxy'] = get_proxy()
        return None

设置了代理之后,可能会出现代理不可用，一般我们都是在配置文件中设置重试。

RETRY_ENABLED = True  # 是否开启超时重试
RETRY_TIMES = 2       # initial response + 2 retries = 3 requests 重试次数
RETRY_HTTP_CODES =  [500, 502, 503, 504, 522, 524, 408, 429] # 重试的状态码
DOWNLOAD_TIMEOUT = 1  # 1秒没有请求到数据,主动放弃

码农公寓