####
#####
####
更多的时候是使用第三个办法,
####
思考,这个start_urls是谁发起的?
如果是访问的12306的个人主页,这个肯定就访问不到了,因为要登陆,
我们是否可以在发起这个请求之前构造cookies?
spider这个类,源码里面有内容:
#####
所以我们有必要的话,是可以重写这个start_requests这个方法的,
###
案例,访问人人网的个人主页
厉害了,字典推导式把cookies变成字典,
重写了start_requests这个方法的,
我们再去请求个人信息页,也会携带cookies的,因为scrapy,默认是携带上一次的cookies的,在settings里面有设置,
如果你不确定第二次请求有没有携带上一次的cookies,可以setting里面设置,cookies-debug,这样就可以运行的时候debug出来cookies内容了,
####
####