Python爬虫中，除了urlib()外，还有一个使用的比较多的HTTP请求库——requests。这个库也是常用于HTTP请求模块，它使用Python语言编写，可以方便的对网页进行爬取，是学习Python比较好的HTTP请求模块。

Python3中没有默认安装requests库，在前一篇文章中，已经介绍了requests的安装。其中，requests库的pip安装命令为 pip install requests 。

接下来，我们来看看requests库的7个主要方法，如下表所示：

1. requests.get()

requests.get()方法时常用方法之一，用户获取HTML。我们可以通过该方法链接其他方法，格式如下：

1 res = requests.get(url , params ,**kwargs)

参数说明见下表：

**kwargs

1 kv= {'key1':'value1'}
2 r = requests.request('POST',"http://python123.io/ws",json=kv)

1 hd = {'user-agent':'Chrome/10'}
2 r = requests.requests('POST','http://python123.io/ws',headers=hd)

 前面的示例代码是构造一个服务器请求requests，返回一个包含服务器资源的Response对象。其中Request对象有以下属性，如表3-3所示。

 示例代码如下：

1 import  requests;
2 
3 url = 'https://www.baidu.com/';
4 r = requests.get(url);
5 print(r.status_code)
6 print(r.encoding)
7 print(r.apparent_encoding)
8 print(r.text)

运行结果如下图：

2.requests库的异常

requests库有时会产生异常，如网络连接错误、HTTP错误异常、重定向异常、请求URL超时异常等。这里可以利用r.raise_for_status()语句来捕捉异常，该语句在方法内部判断r.status_code是否等于200，如果不等于，则抛出异常，示例代码如下。

 1 import requests
 2 
 3 url = 'https://www.baidu.com/';
 4 try:
 5     r = requests.get(url , timeout=30)  # 请求超时时间为30s
 6     r.raise_for_status()    # 如果状态不是200则引发异常
 7     r.encoding = r.apparent_encoding # 配置编码
 8     print(r.text)
 9     print(1)
10 except:
11     print("产生异常")

3. requests.head()

通过requests.head()方法，可以获取地址的header头部信息，示例代码如下：

1 import requests
2 
3 url = 'https://www.baidu.com/';
4 r = requests.head(url)
5 print(r.headers)

4. requests.post()

requests.post()反复一般用于表单提交，向指定URL提交数据，可提交字符串、字典、文件等数据，示例代码如下：

 1 import  requests
 2 
 3 # 向url post 一个字典
 4 payload = {"key1":"value1","key2":"value2"}
 5 r = requests.post("http://httpbin.org/post",data=payload) # 这里的url 并非真实的请求
 6 print(r.text)
 7 
 8 # 向url post 一个字符串，自动编码为data
 9 r = requests.post("http://httpbin.org/post",data="hello") # 这里的url 并非真实的请求
10 print(r.text)

5. requests.put()和requests.patch()

requests。patch()和reques.put()类似，两者不同的是：当patch时，仅需提交修改的字段，但put时，必须将20个字段一起提交到URL,未提交的字段将会删除；patch的优点是节省网络带宽，示例代码如下：

 1 import  requests
 2 
 3 # requests.put
 4 payload = {"key1":"value1","key2":"value2"}
 5 r = requests.put("http://httpbin.org/put",data=payload) # 这里的url 并非真实的请求
 6 print(r.text)
 7 
 8 # requests.post
 9 payload = {"key1":"value1","key2":"value2"}
10 r = requests.patch("http://httWpbin.org/patch",data=payload) # 这里的url 并非真实的请求
11 print(r.text)