1 / 写在前面的话 /
今天资源君带大家来看看Python的Requests库,这个库是基于urllib3所建立的,而且被人们称为人性化的库,因为它的代码量相比于urllib中的request少了一些,并且很容易上手。下面一起来看看!
2 / Requests/
1.导入requests库:
import requests
2.我们首先来讲讲requests库里面的两种get请求方法:
-第一种:
# 使用get请求, rsp = requests.get(url)
-第二种:
# 使用request请求 rsp1 = requests.request("get", url)
当然传入的参数不仅仅只是url,还有params以一个字符串字典来提供这些参数,将字典中的参数发送到指定网页,另外跟request一样可以设置headers:
url = "http://www.baidu.com/s?" kw = { 'wd': '熊猫' } headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } # 使用get请求, rsp = requests.get(url, params=kw, headers=headers)
3.我们还可以通过requests读取服务器响应的内容
r = requests.get('https://api.github.com/events') print(r.text)
打印内容,这里有服务器返回的各种各样的参数(由于返回结果太多就不写出来了)
4.再来讲讲requests的post
rsp = requests.post(url, data=data)
直接把想要post的数据放入一个字典中data,然后直接传参就行了,这里非常的简洁
5.再来讲讲requests里的Cookie
-如果某个响应中包含一些 cookie,你可以快速访问它们,返回的是一个cookiejar:
r = requests.get('https://api.github.com/events') cookiejar = r.cookies #可以将cookiejar转化成字典格式 cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
-要想发送你的cookies到服务器,可以使用 cookies 参数:
r = requests.get(url, cookies=cookies)
cookie是一个字典格式,直接传参发送
6.requests中的session
-模拟一次会话,从客户端链接服务器开始到客户端浏览器断开
-当我们跨请求时保持一些参数,比如在同一个session实例发出的所有请求之间保持cookie
# 创建session对象,可以保持cookie值 ss = requests.session() headers = {'User-Agent':'xxxxxxxxxxxxxx'} data = {'name' : 'xxx'} # 此时由创建的session对象来管理发出请求 ss.post("http://www.baidu.com", data=data, headers=headers) rs = ss.get('xxxxxxxxxx')
7.requests中的代理proxy
proxy = {'http':'你的代理ip', 'https':'你的代理ip'} rsp = requests.request('get','http://www.baidu.com', proxies=proxy)
-如果你的代理ip是买的,可能会有用户验证,这就会使用到HTTP basic Auth
# 格式 用户名:密码@代理地址:端口 proxy = {'http':'china:123456@192.168.1.1:3006'} rsp = requests.get("http://www.baidu.com", proxies=proxy)
-web客户端验证
如果遇到web客户端验证,需要添加auth=(用户名,密码)
auth = ("123","3333") rsp = requests.get("http://www.baidu.com", auth=auth)