scrapy-CrawlSpider的rules使用规则

1.allow设置规则的方法:要能够限制在我们想要的url上面。不要跟其他的url产生相同的正则表达式即可;

2.什么情况下使用follow:如果在爬取页面的时候,需要将满足当前条件的url再进行跟进,那么就设置为True。否则设置为False;

3.什么情况下该指定callback:如果这个url对应的页面,只是为了获取更多的url,并不需要里面的数据,那么可以不指定callback。

上一篇:IOS_FMDB有关字典、数组存储及获取问题


下一篇:phpize 扩展GD库 安装 ! 环境--centos 7 +nginx 1.7.11+php 5.6.7