开发者学堂课程【Python 爬虫实战： Python 爬虫 urllib 使用和进阶】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/555/detail/7641
Python 爬虫 urllib 使用和进阶
内容介绍：
一、HTTP 请求和响应处理
二、urllib 包
三、urllib.request 模块
一、HTTP 请求和响应处理
其实爬取网页就是通过 HTTP 协议访问网页,不过通过浏览器访问往往是人的行为,把这种行为变成使用程序来访问。
二、urllib 包
urlib 是标准库,它一个工具包模块,包含下面模块来处理 url :
●urlib.request 用于打开和读写url
●urlib.error 包含了由 urlib.request 引起的异常
●urlib.parse 用于解析 urI
●urlib.robotparser 分析 robots.txt 文件
Python2 中提供了 urllib 和 urlib2。urllib 提供较为底层的接口, urllib2 对 urlib进行了进一步封装。Python3 中将 urlib 合并到了 urllib2 中,并只提供了标准库urlib 包。
三、urllib.request 模块
模块定义了在基本和摘要式身份验证、重定向、cookies 等应用中打开 Url (主要是HTTP)的函数和类。
Urlopen 方法
urlopen(url, data=None)
url 是链接地址字符串,或请求对象。
data 提交的数据,如果 data 为 None 发起 GET 请求,否则发起 POST 请求。见urllib. request . Request#get _method 返回 http.client.HTTPResponse 类的响应对象,这是一个类文件对象。
from urllib. request import urlopen
#打开一个ur1返回一一个响应对象，类文件对象
#下面的链接访问后会有跳转
response = urlopen( ' http:/ /www.bing.com')
# GET 方法
print(response . closed)
with response:
print(1, type(response)) # http. client .HTTPResponse类文件对象print(2, response . status, response . reason) #状态
print(3，response. geturl()) #返回真正的URL
print(4, response .info()) # headers
print(5，response.read()) #读取返回的内容
print(response . closed)
User-Agent 问题
上例的代码非常精简，即可以获得网站的响应数据。urlopen 方法只能传递url和data这样的数据，不能构造 HTTP 的请求。例如 useragent。
源码中构造的 useragent 如下
#urllib.request.OpenerDirector
class OpenerDirector:
def _init__(self)：
client_version="Python-urllib/%s"% _version
self.addheaders=[('User-agent',client_version)]
当前显示为 Python-urllib/3.6
有些网站是反爬虫的，所以要把爬虫伪装成浏览器。随便打开一个浏览器，复制浏览器的 UA 值，用来伪装。
Request 类
Request(url, data=None, headers=())
初始化方法，构造一个请求对象。可添加一个 header 的字典。 data 参数决定是GET 还是 POST 请求。add_header(key，val) 为 header 中增加一个键值对。
from urllib.request import Request, urlopen
import random
#打开一个 ur1 返回一个 Request 请求对象
# url='https://movie.douban.com/'
#注意尾部的斜杠一定要有
url ='http://www.bing.com/'
ua_list=[
"Mozilla/5.0 (Windows NT 6.1; Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/57.0.2987.133 Safari/537.36",# chrome
"Mozi11a/5.0 (Windows; U; Windows NT 6.1;zh-CN) AppleWebKit/537.36 (KHTML, like Gecko)
Version/5.0.1 Safari/537.36",# safafi
"Mozilla/5.0 (Windows NT 6.1;Win64;x64;rv:50.0) Gecko/20100101 Firefox/50.0"，#Firefox"
Mozilla/5.e (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"# IE
ua = random.choice(ua_list) #pick one
# ua需要加到请求头中
request = Request(url)
request.add_header('User-Agent',random.choice(ua_list))
print(type(request))
response = urlopen(request, timeout=20)#request对象或者url都可以
print(type(response))
with response:
print(1, response.status, response.getcode(), response.reason) #状态，getcode
本质上就是返回 status
print(2, response.getur1())
#返回数据的 ur1。如果重定向，这个 ur1 和原始 ur1 不一样
#例如原始 url 是http://www.bing.com/，返回
print(3, response.info()) #返回响应头headers
print(4, response.read()) #读取返回的内容
print(5,request.get_header('User-agent'))
print(6, ‘user-agent'.capitalize())