在scrapy框架中使用免费的代理ip,解决ip被封禁的问题!!!

本文仅供学习与交流,切勿用于非法用途!!!

该项目的实现,主要基于视频 https://www.bilibili.com/video/BV1qt411H7ox?t=633 的基础上来实现的(当然也有找其他的视频等资料),这里对阳光问政发起数据请求,让其将本机ip禁掉:

这是可以正常打开阳光问政的网页:

在scrapy框架中使用免费的代理ip,解决ip被封禁的问题!!!

这是对阳光问政发起数据请求,让其将本机ip禁掉:

在scrapy框架中使用免费的代理ip,解决ip被封禁的问题!!!

在scrapy框架中使用免费的代理ip,解决ip被封禁的问题!!!

使用免费的代码ip的对阳光问政发起数据请求:

打开scrapy项目里面的中间件middlewares.py,只保留下面的类里面的3个函数其他的删除掉

class '自己项目的名字'DownloaderMiddleware:

    def process_request(self, request, spider):

        return None

    def process_response(self, request, response, spider):

        return response

    def process_exception(self, request, exception, spider):

        return request



上一篇:scrapy终端常用命令


下一篇:Python | Python学习之初识Scrapy