####
###
####
###
原生的scrapy,今天启动了,关闭了,明天再启动,昨天爬取的url,会再次爬取,这不是我们想要的,
我们想要的是今天爬过的url,下一次就不再爬取了,这就是增量式爬虫,
###
####
2021-10-03 15:52:34
####
###
####
###
原生的scrapy,今天启动了,关闭了,明天再启动,昨天爬取的url,会再次爬取,这不是我们想要的,
我们想要的是今天爬过的url,下一次就不再爬取了,这就是增量式爬虫,
###
####