本文仅供学习与交流,切勿用于非法用途!!!
该项目的实现,主要基于视频 https://www.bilibili.com/video/BV1qt411H7ox?t=633 的基础上来实现的(当然也有找其他的视频等资料),这里对阳光问政发起数据请求,让其将本机ip禁掉:
这是可以正常打开阳光问政的网页:
这是对阳光问政发起数据请求,让其将本机ip禁掉:
使用免费的代码ip的对阳光问政发起数据请求:
打开scrapy项目里面的中间件middlewares.py,只保留下面的类里面的3个函数其他的删除掉
class '自己项目的名字'DownloaderMiddleware:
def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):
return response
def process_exception(self, request, exception, spider):
return request