urllib.request.urlopen(url) 不能定制请求头
urllib.request.Request(url,headers,data) 可以定制请求头
Handler
定制更高级的请求头（随着业务逻辑的复杂 请求对象的定制已经满足不了我们的需求（动态cookie和代理
不能使用请求对象的定制）
# 需求 使用handler来访问百度 获取网页源码 import urllib.request
# 请求路径
url = 'http://www.baidu.com'
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
# 请求对象的定制
request = urllib.request.Request(url = url,headers = headers) # handler build_opener open # （1）获取hanlder对象
handler = urllib.request.HTTPHandler() # （2）获取opener对象（通过上面hanlder获取opener对象）
opener = urllib.request.build_opener(handler) # (3) 调用open方法（参数传入request请求对象）
response = opener.open(request)
# 获取响应数据（read读方法返回字节形式二进制数据.decode解密）
content = response.read().decode('utf-8')
print(content)
代理服务器
1.代理的常用功能?
- 突破自身IP访问限制，访问国外站点。
- 访问一些单位或团体内部资源
扩展：某大学FTP(前提是该代理地址在该资源的允许访问范围之内)，使用教育网内地址段免费代理服务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共享等服务。
- 提高访问速度
扩展：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时， 则直接由缓冲区中取出信息，传给用户，以提高访问速度。
- 隐藏真实IP
扩展：上网者也可以通过这种方法隐藏自己的IP，免受攻击。
2.代码配置代理
创建Reuqest对象
创建ProxyHandler对象
用handler对象创建opener对象
使用opener.open函数发送请求
访问api返回，ip地址
import urllib.request # 随机函数
import random # 西刺免费代理IP（http://www.xicidaili.com/）
# ip代理池，列表
proxies_pool = [
{'http':'118.24.219.151:16817'},
{'http':'118.24.218.158:16817'}
# ...
] # random.choice方法返回一个列表，元组或字符串的随机项
proxies = random.choice(proxies_pool)
# 请求路径
url = 'http://www.baidu.com/s?wd=ip' # 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
} # 请求对象的定制
request = urllib.request.Request(url = url, headers = headers) # 设置使用代理服务器，传入ip
handler = urllib.request.ProxyHandler(proxies=proxies) #通过 urllib.request.build_opener(代理服务器)方法创建支持处理HTTP请求的opener对象
opener = urllib.request.build_opener(handler) # 通过opener对象.调用open()方法发送请求
response = opener.open(request) # 获取响应信息
content = response.read().decode('utf-8') # 保存到本地
with open('daili.html','w',encoding='utf-8')as fp:
fp.write(content)