如图：
scrapy 设置爬取深度 （七）
通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对url的深度。例如定义url为：http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级的网页。深度大于设置值的将被ignore。
相关文章
- 11-29scrapy框架爬取豆瓣电影top250
- 11-29网络爬虫-爬取拉勾网不成功，登录设置cookie
- 11-29用scrapy/selenium爬取校花网
- 11-29使用Scrapy 框架爬取段子（入门）
- 11-29scrapy 爬取股票
- 11-29Scrapy翻页爬取糗事百科所有段子后，我总结出的...
- 11-29scrapy 爬取小说
- 11-29scrapy 爬取指定贴吧
- 11-29爬虫之scrapy和splash 结合爬取动态网页
- 11-29scrapy爬取极客学院全部课程