urllib是我们用来网络请求的一个第三方库,可以制定url,获取网页数据
import urllib.request
# 发送一个get请求
def getReq():
# 引入urllib库中的request模块
# 调用request中的urlopen方法
# timeout设置超时时间
response = urllib.request.urlopen("http://www.baidu.com", timeout=1)
# 由于respon是一个对象地址,我们需要调用read()来获取数据 使用urf-8解码
# print(response.read().decode("utf-8"))
print(response.status) # 获取返回状态信息码
print(response.getheaders()) # 获取响应头
print(response.getheader("Content-Type")) # 获取响应头某个具体数据
import urllib.parse
# 发送一个post请求
def postReq():
# 使用urllib.parse进行参数封装
data = urllib.parse.urlencode({"name": "张三"})
# 使用二进制流进行编码
param = bytes(data, encoding="utf-8")
response = urllib.request.urlopen("http://httpbin.org/post", data=param)
print(response.read().decode("utf-8"))
# 忽略https证书
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
# 请求豆瓣
def reqDouBan():
try:
url = "https://www.douban.com"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
}
data = bytes(urllib.parse.urlencode({"name": "test"}), encoding="utf-8")
# 设置url,设置请求数据,设置请求头,设置请求方式
req = urllib.request.Request(url, data=data, headers=headers, method="POST")
response = urllib.request.urlopen(req)
print(response.read().decode("utf-8"))
except urllib.error.HTTPError:
print("请求失败")
reqDouBan()