scrapy框架使用-模拟登陆

####

scrapy框架使用-模拟登陆

 

#####

scrapy框架使用-模拟登陆

 

 

#### 

scrapy框架使用-模拟登陆

 

更多的时候是使用第三个办法,

####

scrapy框架使用-模拟登陆

 

思考,这个start_urls是谁发起的?

如果是访问的12306的个人主页,这个肯定就访问不到了,因为要登陆,

我们是否可以在发起这个请求之前构造cookies?

spider这个类,源码里面有内容:

scrapy框架使用-模拟登陆

 

#####

所以我们有必要的话,是可以重写这个start_requests这个方法的,

###

案例,访问人人网的个人主页

scrapy框架使用-模拟登陆

 

厉害了,字典推导式把cookies变成字典,

重写了start_requests这个方法的,

我们再去请求个人信息页,也会携带cookies的,因为scrapy,默认是携带上一次的cookies的,在settings里面有设置,

 scrapy框架使用-模拟登陆

 

如果你不确定第二次请求有没有携带上一次的cookies,可以setting里面设置,cookies-debug,这样就可以运行的时候debug出来cookies内容了, 

 scrapy框架使用-模拟登陆

 

####

 

 

 

 

 

 

 

 

 

####

上一篇:chrome浏览器发送axios请求无法携带cookies问题,踩坑记录


下一篇:2021-07-23