爬虫入门之urllib库详解(二)
1 urllib模块
urllib模块是一个运用于URL的包
urllib.request用于访问和读取URLS
urllib.error包括了所有urllib.request导致的异常
urllib.parse用于解析URLS
urllib.robotparser用于解析robots.txt文件（网络蜘蛛）
2 urllib读取网页的三种方式
urlopen直接打开
urlopen返回对象提供的方法
read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
info()： 返回HTTPMessage对象，表示远程服务器返回的头信息
getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
geturl()： 返回请求的url
url = "http://www.baidu.com"
response = urllib.request.urlopen(url)
print(response)
import urllib.request
response = urllib.request.urlopen('http://python.org/')
html = response.read()
采用User-Agent (用户代理，简称UA)
UA用来包装头部的数据：
-User-Agent ：这个头部可以携带如下几条信息：浏览器名和版本号、操作系统名和版本号、默认语言
-Referer：可以用来防止盗链，有一些网站图片显示来源http://***.com，就是检查Referer来鉴定的
-Connection：表示连接状态，记录Session的状态
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36"}
request = urllib.request.Request(url, headers=header) # 构造一个请求对象发送请求，伪装浏览器访问
response = urllib.request.urlopen(req)
#常用的消息包头
- Accept:text/html,image/* (告诉服务器，浏览器可以接受文本，网页图片)
- Accept-Charaset:ISO-8859-1 [接受字符编码：iso-8859-1]
- Accept-Encoding:gzip,compress [可以接受 gzip,compress压缩后数据]
- Accept-Language:zh-cn [浏览器支持的语言]
- Host:localhost:8080 [浏览器要找的主机]
- Referer:http://localhost:8080/test/abc.html [告诉服务器我来自哪里,常用于防止下载，盗链]
- User-Agent:Mozilla/4.0(Com...) [告诉服务器我的浏览器内核]
- Cookie： [会话]
- Connection:close/Keep-Alive [保持链接，发完数据后，我不关闭链接]
- Date: [浏览器发送数据的请求时间]
定制header信息
在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。
可以通过调用Request.add_header() 添加/修改一个特定的header 也可以通过调用Request.get_header()来查看已有的header。
request.add_header("Connection", "keep-alive") # 一直活着
print(request.get_full_url()） # 访问的网页链接
print(request.get_host()) # 服务器域名
print(request.get_method()) # get或post
print(request.get_type()) # http/https/ftp
response = urllib.request.urlopen(request)
print(response.code) # 状态码200, 404，500
print(response.info) # 网页详细信息
data = response.read().decode("gb2312")
print(response.code) # 响应状态码
return data
我们都知道Http协议中参数的传输是"key=value"这种简直对形式的，如果要传多个参数就需要用“&”符号对键值对进行分割。如"?name1=value1&name2=value2"，这样在服务端在收到这种字符串的时候，会用“&”分割出每一个参数，然后再用“=”来分割出参数值。
3 urllib访问之get与post
1 get方式： 通过将url + ”?” + data 拼接起来赋值给新的url
四步走：
1字典数据编码key=value构建url,headers 2构建请求(url , headers) 3打开请求返回响应 4读取响应
#模拟百度搜索
import urllib
from urllib import request
import urllib.parse
def baiduApi(kw):
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
# https://www.baidu.com/s?wd=%E5%8D%83%E9%94%8B # url编码
url = 'http://www.baidu.com/s?ie=utf-8&wd='+kw #将信息拼接到url后进行构造
req = urllib.request.Request(url, headers=header)
response = urllib.request.urlopen(req)
print(response.getcode())
return response.read().decode('utf-8')
if __name__ == '__main__':
kw = input('请输入想查找的内容:')
#百度搜索会进行url编码
kw = {'kw':kw}
wd = urllib.parse.urlencode(kw) #因此将字典形式的kw进行编码 wd=%E5%8D%83%E9%94%8B
response = baiduApi(wd)
print(response)
#模拟智联招聘
import urllib
from urllib import request
import urllib.parse
import re
def getJobInfo(kw):
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
url = "https://sou.zhaopin.com/jobs/searchresult.ashx?" + kw #get拼接
req = urllib.request.Request(url,headers=header)
response = urllib.request.urlopen(req) #对象
html = response.read().decode('utf-8')
jobNumre = '<em>(\d+)</em>' # 匹配岗位数量
jobNum = re.findall(jobNumre,html) #找到符合要求的岗位数量列表
return jobNum[0]
if __name__ == '__main__':
jobList = ['java','python','go','php']
jobNumDict = {}
for job in jobList:
kw = {'jl':'杭州','kw':job}
kw = urllib.parse.urlencode(kw) #编码例如 jl=%E6%9D%AD%E5%B7%9E&kw=java
number = getJobInfo(kw)
jobNumDict[job] = number
print(jobNumDict)
2 post方式： 定义字典类型value，保存username和password，通过urlencode对字典编码转二进制返回给data，将数据和url通过Request方法来申请访问
五步走：
1构建headers,url 2字典转二进制data 3构建请求(url , headers,data) 4打开请求返回响应 5读取响应
#抓取网易云热评
import urllib.request
import urllib.parse
import json
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
url = "https://music.163.com/weapi/v1/resource/comments/R_SO_4_547976490?csrf_token=" #url请求
#form-data数据
data = {
"params": "3u5ErBfSCxBGdgjpJpTQyZVZgmPAv+aisCYZJ9pxk26DoOaS5on9xBjsE65yaS57u9XyxvCJIa78DXJathMsyiClN4LXqhonGNQrAtI2ajxsdW8FosN4kv8psGrRyCBsWrxSJQyfy5pfoeZwxLjB7jHtQkt9hglgZaAfj7ieRWq/XvX3DZtSgLcLrvH/SZOM",
"encSecKey": "872312d7d8b04d2d5dab69d29c9bde5438337f0b3982887e3557468fe7b397de59e85ab349c07f32ef5902c40d57d023a454c3e1ed66205051264a723f20e61105752f16948e0369da48008acfd3617699f36192a75c3b26b0f9450b5663a69a7d003ffc4996e3551b74e22168b0c4edce08f9757dfbd83179148aed2a344826"
}
data = urllib.parse.urlencode(data).encode('utf-8') #将data转为二进制 b
req = urllib.request.Request(url,headers=headers,data=data)
response = urllib.request.urlopen(req)
hotComment = json.loads(response.read().decode('utf-8'))
hotCommentList = hotComment['hotComments']
for comment in hotCommentList:
userId = comment['user']['userId']
nickname = comment['user']['nickname']
content = comment['content']
print((userId,nickname,content))
3 post请求并将数据存入数据库
#抓取阿里巴巴的岗位招聘
import urllib
from urllib import request
import json
import urllib.parse
import pymysql
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
url = 'https://job.alibaba.com/zhaopin/socialPositionList/doList.json' #url请求获取
for i in range(0,20):
data = { #form-data获取的data数据
'pageSize': 10,
't': 0.9980968383643134,
'pageIndex': i
}
data = urllib.parse.urlencode(data).encode('utf-8') #url 编码 数据必须转为二进制
req = urllib.request.Request(url,headers=headers,data=data) #Request必须接收二进制的data
response = urllib.request.urlopen(req)
jsonData = json.loads(response.read().decode('utf-8'))
jobList = jsonData['returnValue']['datas']
for job in jobList:
degree = job['degree'] # 学历
departmentName = job["departmentName"] # 部门
description = job['description'] # 岗位要求
firstCategory = job['firstCategory'] # 类型
workExperience = job['workExperience'] # 要求
with open('ali.txt','a+',encoding='utf-8',errors='ignore') as f: #将数据写入txt文本
f.write(str((degree,departmentName,description,firstCategory,workExperience))+'\n')
f.flush()
#创建连接
conn = pymysql.connect(host='ip地址', user='root', password="密码",database='spidder', port=3306,charset='utf8')
#创建游标
cursor = conn.cursor()
with open('ali.txt','r',encoding='utf-8',errors='ignore') as f:
while True:
jobTextInfo = f.readline()
if not jobTextInfo:
break
jobTextInfo = eval(jobTextInfo)
#插入sql语句
sql = 'insert into ali(degree,departmentName,description,firstCategory,workExperience) VALUES (%r,%r,%r,%r,%r)' %(jobTextInfo[0], jobTextInfo[1], jobTextInfo[2], jobTextInfo[3], jobTextInfo[4])
cursor.execute(sql) #执行sql语句
conn.commit() #提交
#关闭连接
cursor.close()
conn.close()
4 json编码解析
当请求响应结果为json数据时,出现了二进制编码转不了情况,可以设置为非ascii编码
import urllib.request
import urllib.parse
import json
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
post_url = "http://fanyi.baidu.com/sug"
data = {
"kw":"baby"
}
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url=post_url,headers=headers,data=data)
response = urllib.request.urlopen(req)
content = response.read().decode('utf-8') #str字符串,但是嵌套的数据没解析为中文
#将字符串转json对象
obj = json.loads(content)
#将json对象转换成非ascii编码对象
string = json.dumps(obj,ensure_ascii=False)
print(string)
#输出
{"errno": 0, "data": [{"k": "baby", "v": "n. 婴儿; 婴孩; 幼崽; 宝贝儿; vt. 把…当作婴孩看待，娇养; 纵容; adj. 孩子的;"}, {"k": "babysitter", "v": "n. 临时照顾幼儿者;"}, {"k": "babysit", "v": "vi. 临时受雇代外出的父母照料小孩;"}, {"k": "babysitting", "v": "n. 托婴服务; v. 临时受雇代外出的父母照料小孩( babysit的现在分词 );"}, {"k": "baby sitter", "v": "n. <美>代人临时照顾婴孩者;"}]}
4 处理HTTPS请求 SSL证书验证
现在随处可见 https 开头的网站，urllib2可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/等...
如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信任。（据说 12306 网站证书是自己做的，没有通过CA认证）
import urllib
from urllib import request
# 1. 导入Python SSL处理模块
import ssl
# 2. 表示忽略未经核实的SSL证书认证
context = ssl._create_unverified_context()
url = "https://www.12306.cn/mormhweb/"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
request = urllib.request.Request(url, headers = headers)
# 3. 在urlopen()方法里 指明添加 context 参数
response = urllib.request.urlopen(request, context = context)
print(response.read().decode())
5 封装
常见功能可以进行简单的封装
import urllib.request
import urllib.parse
def create_request(category,page):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
base_url = "http://tieba.baidu.com/f?ie=utf-8&"
data = {
'kw':category,
'pn':(page-1)*50
}
data = urllib.parse.urlencode(data)
url = base_url + data
req = urllib.request.Request(url,headers=headers)
return req
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def save_path(content,path,page):
filename = path + 'tieba' + str(page) + '.html'
with open(filename,'w',encoding='utf-8') as fp:
fp.write(content)
def main():
category = input('请输入查询类型:')
start_page = int(input('请输入起始页码:'))
end_page = int(input('请输入终止页码:'))
print('数据下载中..')
for page in range(start_page,end_page+1):
request = create_request(category,page)
content = get_content(request)
save_path(content,'./tieba',page)
print('下载成功')
if __name__ == '__main__':
main()