Requests库入门(学习笔记）

更多的信息可以访问：http://www.python-requests.org

一、安装

打开cmd控制台；
输入命令：pip install requests即可进行安装

尝试后提示没有此命令发现应该要首先下载Python。安装好了python以后就可以安装requests了（虽然有两个WARNING,但是貌似已经安装成功了）

二、主要方法

方法	说明
requests.request(）	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

说明：除了request()方法是基础外，其余的6个方法都是通过调用requests方法来实现的

Requests库的get()方法

Response对象包含爬虫返回的内容

>>> import requests # 调用requests库
>>> r = requests.get("http://www.baidu.com") # 访问百度的主页
>>> print(r.status_code) # 检测请求的状态码

200 

状态码为200，访问成功；反之失败

>>> type(r) # 检测r的类型

<class 'requests.models.Response'>

返回表示r是一个类，这个类的名是Response

>>> r.headers # 返回get请求获得页面的头部信息

'Cache-Control': 'private，no-cache，no-store，proxy-revalidate,ection': 'Keep-Alive'， 'Transfer-Encoding': 'chunked', 'server':

Response包含服务器返回的所有信息，同时也包含了我们向服务器请求的request信息

自己尝试：（Python自带的IDLE）

Response对象的属性(最常用、最必要)

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

r.encoding:如果header中不存在charset，则认为编码为
ISO-8859-1

三、通用代码框架

Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
r.raise_for_status()	如果不是200，产生异常requests.HTTPError

爬取网页的通用代码框架

import requests
def getHTMText(url):
	try :
		r = requests.get (url, timeout=30) # 请求一个url连接
		r.raise_for_status() # 如果状态不是200，引发HTTPError异常
		r.encoding = r.apparent_encoding # 用后者代替前者使得返回的内容的解码是正确的
		return r.text # 返回网页的内容
	except:
		return "产生异常"
if _name_ == "_main_":
	url = "http://www.baidu.com"
	print(getHTMLText(url))

通用代码框架：使得用户访问或者爬取网页变得更有效、更稳定、更可靠。

四、HTTP协议及Requests库方法

1.HTTP协议

HTTP协议

1.HTTP,Hypertext Transfer Protocol,超文本传输协议。
2.HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
3.HTTP协议采用URL作为定位网络资源的标识。

“请求与响应”模式：用户发接请求，服务器做相关响应
无状态：第一次请求与第二次请求无关联

URL格式 http://host[:port][path]
host:合法的Internet主机域名或lP地址
port:端号，缺省端为80
path:请求资源的路径

HTTP URL的理解:
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

2.HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

理解PATCH和PUT的区别:
假设URL位置有一组数据UserInfo，包括UserlD、UserName等20个字段。
需求:用户修改了UserName，其他不变。
采用PATCH，仅向URL提交UserName的局部更新请求。
采用PUT，必须将所有20个字段一并提交到URL，赤提交字段被删除。

3.Requests库的head()方法

>>> r = requests.head("http://httpbin.org/get")
>>> r.headers

{ 'Content-Length': '238'， 'Access-Control-Allow-Origin ': '*'，'Access-Control-Allow-Credentials': 'true', 'Content-Type':'application/json ', 'Server': 'nginx' , 'Connection ': 'keep-alive' ,"Date' : 'sat，18 Feb 2017 12:07:44 GMT'}

>>> r.text

''

head可以用很少的网络流量获得网络资源的概要信息

4.Requests库的post()方法

用post方法向服务器提交新增的数据

>> payload = {'key1': 'value1', 'key2': 'value2'} # 新建一个字典payload 包含两个键值对
>>> r = requests.post('http://httpbin.org/post', data = payload)
>>> print(r.text)

{ ...
  "form": {
	"key2": "value2",
	"key1": "value1"
},
}

向URL POST一个字典，自动编码为form表单

>>> r = requests.post(' http://httpbin.org/post', data = 'ABC' )
>>> print(r.text)

{ ...
    "data": "ABC"
    "form": {},
}

向URL POST一个字典，自动编码为data

5.Requests库的put()方法

 与post方法类似

五、Requests库主要方法解析

1.request方法

requests.request(method, url,**kwargs)

method:请求方式，对应get/put/post等7种

r=requests.request(‘GET’, url，**kwargs)
r= requests.request(‘HEAD’, url，**kwargs)
r=requests.request(‘POST’, url,**kwargs)
r = requests.request(‘PUT’, url,**kwargs)
r= requests.request(‘PATCH’, url,**kwargs)
r= requests.request(‘delete’, url,**kwargs)
r= requests.request(‘OPTIONS’, url，**kwargs)

url:拟获取页面的url链接
**kwargs:控制访问的参数，共13个

①params:字典或字节序列，作为参数增加到url中

>>> kv = { ' key1': 'value1', 'key2' : 'value2'}
>>>r = requests.request( 'GET','http://python123.io/ws', params=kv) # 用命名方式调用
>>> print(r.url)
http://python123.io/ws?key1=value1&key2=value2

http: //python123.io/ws?key1=value1&key2=value2

②data:字典、字节序列或文件对象，作为Request的内容

>>> kv = {'key1': 'value1', 'key2': 'value2'}
>>>r = requests.request('POST', 'http:// python123.io/ws', data=kv)
>>>body = '主体内容·
>>>r = requests.request('POST', 'http://python123.io/ws', data=body)

③json: JSON格式的数据，作为Request的内容

>>>kv = {'key1': 'value1'}
>>>r = requests.request( 'POST','http://python123.io/ws', json=kv)

④headers:字典，HTTP定制头（模拟浏览器向服务器发起访问）

>>> hd = {'user-agent': 'Chrome/10'}
>>r = requests.request( 'POST','http://python123.io/ws', headers=hd)

⑤cookies:字典或CookieJar，Request中的cookie
⑥auth:元组，支持HTTP认证功能
⑦files:字典类型，传输文件

>>> fs = {'file': open('data.xls', 'rb')}
>>>r = requests.request('POST','http:// python123.io/ws', files=fs)

⑧timeout:设定超时时间，秒为单位

>>> r = requests.request('GET'， 'http: //www.baidu.com'， timeout=10)

⑨proxies:字典类型，设定访问代理服务器，可以增加登录认证

>>> pxs = { 'http': 'http://user: pass@10.10.10.1:1234'
'https' : 'https://10.10.10.1:4321'}
>>>r = requests.request('GET','http:// www.baidu.com', proxies=pxs)

⑩allow_redirects:True/False，默认为True，重定向开关
⑪stream:True/False，默认为True，获取内容立即下载开关
⑫verify:True/False，默认为True,认证SSL证书开关
⑬cert:本地SSL证书路径

2.get方法

requests.get(url, params=None,**kwargs)

url:拟获取页面的url链接
params: url中的额外参数，字典或字节流格式，可选
**kwargs:12个控制访问的参数（除params之外的其他参数）

3.head方法

requests.head(url,**kwargs)

url:拟获取页面的url链接
**kwargs:13个控制访问的参数

4.post方法

requests.post(url,data=None,json=None,**kwargs)

url:拟更新页面的url链接
data:字典、字节序列或文件，Request的内容
json:JSON格式的数据，Request的内容
**kwargs:11个控制访问的参数

5.put方法

requests.put(url,data=None,**kwargs)

url:拟更新页面的url链接
data:字典、字节序列或文件，Request的内容
**kwargs:12个控制访问的参数

6.patch方法

requests.patch(url,data=None,**kwargs)

url:拟更新页面的url链接
data:字典、字节序列或文件，Request的内容
**kwargs:12个控制访问的参数

7.delete方法

requests.delete(url,**kwargs)

url:拟删除页面的url链接
**kwargs:13个控制访问的参数