爬虫日记(89):Scrapy的DownloadHandlers类

前面分析了下载器的整个源码,理解了下载器的工作过程,在那里经常会遇到一个类,就是DownloadHandlers类,这个类主要用来对不同的下载协议进行管理的,比如文件协议和http协议不一样,那么就需要使用不同的类来表示,又比如https的下载和http的下载过程也不一样,这样也要分开处理。因此DownloadHandlers类需要实现不同的协议、不同的下载方式进行管理。

我们先来看一下默认的设置参数:

DOWNLOAD_HANDLERS_BASE = {

    'data': 'scrapy.core.downloader.handlers.datauri.DataURIDownloadHandler',

    'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',

    'http': 'scrapy.core.downloa

上一篇:使用scrapy、requests遇到503状态码问题解决


下一篇:微信小程序页面引入公用头部底部