爬虫学习3---requests库深入学习

我们用来写爬虫最方便的还是requests库里面的一些资源了,所以,对requests库进行深入的学习是十分有必要的。

目录

1.request库的七个主要方法。

(1)requests.get(url,params=None,**kwargs)

(2)requests.request(method,url,**kwargs)

13个常用参数:

(3)requests.head(url,**kwargs)

(4)requests.post(url, data=None, json=None,**kwar

(5)requests.put(url, data=None, **kwargs)

(6)requests.patch(url, data=None, **kwargs)

(7)requests.delete(url, **kwargs)

2.requests库的两个重要对象

     分支:重点介绍Response对象。

Response对象的属性(要记住)

   r.encoding和r.apparent_encoding的区别

3.理解Requests库的异常

4.HTTP协议和requests库的主要方法

 重点理解:patch和put的区别


1.request库的七个主要方法。

爬虫学习3---requests库深入学习

(1)requests.get(url,params=None,**kwargs)

爬虫学习3---requests库深入学习

 

(2)requests.request(method,url,**kwargs)

第一个参数:method:请求方式,对应get/put/post等七种方法。

爬虫学习3---requests库深入学习

第二个参数:url:获取页面的url链接

第三个参数:**kwargs:控制访问的参数,共13个

13个常用参数:

1. params:字典或字节序列,作为参数增加到url中。

爬虫学习3---requests库深入学习

2. data:字典,字节序列或文件对象,作为Requests的内容

3. json:JSON格式的数据,作为requests的内容。

4. headers:字典,HTTP定制头。

5. cookies:字典或CookieJar,Requests中的cookie。

6. auth:元组类型,支持HTTP认证功能。

7. files:字典类型,传输文件。

8. timeout:设定的超时时间,秒为单位。

9. proxies:字典类型,设定访问代理服务器,可以增加登录认证。

10. allow_redirects:True/False,默认为True,重定向开关。

11. stream:True/False,默认为True,获取内容立即下载开关。

12. verify:True/False,默认为True,认证SSL证书开关。

13. cert:本地SSL证书路径。

(3)requests.head(url,**kwargs)

爬虫学习3---requests库深入学习

(4)requests.post(url, data=None, json=None,**kwar


爬虫学习3---requests库深入学习

 
 

(5)requests.put(url, data=None, **kwargs)

爬虫学习3---requests库深入学习 

(6)requests.patch(url, data=None, **kwargs)

爬虫学习3---requests库深入学习

(7)requests.delete(url, **kwargs)

爬虫学习3---requests库深入学习

2.requests库的两个重要对象

爬虫学习3---requests库深入学习

     分支:重点介绍Response对象。

爬虫学习3---requests库深入学习

Response对象的属性(要记住)

爬虫学习3---requests库深入学习

   r.encoding和r.apparent_encoding的区别

r.encoding是根据http header推测出的编码方式,如果没有header,默认为ISO-8859-1。

r.apparent_encoding是根据内容分析出来的编码方式,用这个代替r.encoding可以解析出中文。

3.理解Requests库的异常

爬虫学习3---requests库深入学习爬虫学习3---requests库深入学习

4.HTTP协议和requests库的主要方法

爬虫学习3---requests库深入学习爬虫学习3---requests库深入学习

爬虫学习3---requests库深入学习

 

 重点理解:patch和put的区别

爬虫学习3---requests库深入学习

patch局部更新,可以更好地节省网络带宽。 

好的,看到这里恭喜你,已经看到头了,下次见,等着我的爬虫学习4。

上一篇:node: 将json转换ts


下一篇:requests爬取视频片段并整合