[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown

不会显示更多重复项,

其实这个的问题是,CrawlSpider结合LinkExtractor\Rule,在提取链接与发链接的时候,出现了重复的连接,重复的请求,出现这个DEBUG

或者是yield scrapy.Request(xxxurl,callback=self.xxxx)中有重复的请求

其实scrapy自身是默认有过滤重复请求的

让这个DEBUG不出现,可以有 dont_filter=True,在Request中添加可以解决

yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)

 

来源于:https://blog.csdn.net/sinat_41701878/article/details/80302357