十七 Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

 

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

网站树形结构

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

深度优先

是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

 

广度优先

是以层级来执行的,(列队方式实现)

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

十七  Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

上一篇:三十 Python分布式爬虫打造搜索引擎Scrapy精讲—将selenium操作谷歌浏览器集成到scrapy中


下一篇:二十七 Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP