一. urllib库
urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中就是urllib和urllib2。
二.requests库
- 安装: pip install requests
- 作用: 就是用来模拟浏览器上网的
- 特点: 简单高效
- 使用流程:
* 指定url
* 发起请求
* 获取响应数据
* 持久化存储
三.爬取简单的网页
普通get请求
1 # 爬取搜狗首页的页面数据
2 import requests
3 # 第一步指定url
4 url = 'https://www.sogou.com/'
5 # 第二步发送请求
6 response = request.get(url=url)
7 # 第三步获取响应数据
8 page_text = response.text #text返回的是字符串类型的数据(由响应体中的content-type,也可以是json)
9 # 第四步持久化存储
10 with open('./souhu.html','w',encoding='utf-8') as fp:
11 fp.write(page_text)
12
13 print('搜狗首页爬取完毕!!!')
普通post请求
请求载体身份标识的伪装：
User-Agent：请求载体身份标识，通过浏览器发起的请求，请求载体为浏览器，则该请求的User-Agent为浏览器的身份标识，使用爬虫程序发起的请求，则该请求的载体为爬虫程序，则该请求的User-Agent为爬虫程序的身份标识。可以通过判断该值来获知该请求的载体究竟是基于哪款浏览器还是基于爬虫程序。
反爬机制：某些门户网站会对访问该网站的请求中的User-Agent进行捕获和判断，如果该请求的UA为爬虫程序，则拒绝向该请求提供数据。
反反爬策略：将爬虫程序的UA伪装成某一款浏览器的身份标识
# 普通post请求
import requests
import os
url = 'https://accounts.douban.com/login'
#封装请求参数
data = {
"source": "movie",
"redir": "https://movie.douban.com/",
"form_email": "15027900535",
"form_password": "bobo@15027900535",
"login": "登录",
}
#自定义请求头信息
headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
response = requests.post(url=url,data=data)
page_text = response.text with open('./douban111.html','w',encoding='utf-8') as fp:
fp.write(page_text)
ajax的post请求:
- 爬取肯德基任意城市的位置信息
#爬取任意城市对应的肯德基餐厅的位置信息
#动态加载的数据
city = input('enter a cityName:')
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
data = {
"cname": "",
"pid": "",
"keyword": city,
"pageIndex": "",
"pageSize": "",
}
#UA伪装
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
response = requests.post(url=url,headers=headers,data=data) json_text = response.text print(json_text)
普通post请求
- 爬取百度翻译输入任意内容翻译出来的结果
#破解百度翻译
url = 'https://fanyi.baidu.com/sug'
word = input('enter a English word:')
#请求参数的封装
data = {
'kw':word
}
#UA伪装
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
response = requests.post(url=url,data=data,headers=headers)
#text:字符串 json():对象
obj_json = response.json() print(obj_json)
ajax的get请求
需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
import requests
import urllib.request
if __name__ == "__main__": #指定ajax-get请求的url（通过抓包进行获取）
url = 'https://movie.douban.com/j/chart/top_list?' #定制请求头信息，相关的头信息必须封装在字典结构中
headers = {
#定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
} #定制get请求携带的参数(从抓包工具中获取)
param = {
'type':'',
'interval_id':'100:90',
'action':'',
'start':'',
'limit':''
}
#发起get请求，获取响应对象
response = requests.get(url=url,headers=headers,params=param) #获取响应内容：响应内容为json串
print(response.text)
四. 爬取较难的数据
- 步骤分析:
1. 通过抓包工具检测出首页中的企业信息数据全部为动态加载
2. 通过抓包工具获取了动态加载数据对应的ajax的数据包（url，请求参数）
3. 通过对步骤2的url请求后获取的响应数据中分析出有一个特殊的字段ID（每家企业都有一个唯一的ID值）
4. 从手动点击企业进入企业的详情页，发现浏览器地址栏中的url中包含了该企业的ID，使用企业ID和固定的域名可以拼接成详情页的url
5. 发现详情页的企业详情信息对应的数据值是动态加载出来的。上述我们获取详情页的url是无用的。
6. 通过抓包工具的全局搜索的功能，可以定位到企业详情信息对应的ajax数据包（url，请求参数），对应的响应数据就是最终我们想要爬取的企业详情数据。
# http://125.35.6.84:81/xk/ 爬取每家企业的企业详情数据 import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
first_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
ids = []
for page in range(1,11):
data = {
"on": "true",
"page": str(page),
"pageSize": "",
"productName": "",
"conditionType": "",
"applyname": "",
"applysn": "",
}
response = requests.post(url=first_url,data=data,headers=headers)
#response.headers返回的是响应头信息（字典）
if response.headers['Content-Type'] == 'application/json;charset=UTF-8':
json_obj = response.json()
for dic in json_obj['list']:
ids.append(dic['ID']) detail_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
for _id in ids:
data = {
'id':_id
}
company_text = requests.post(detail_url,data=data,headers=headers).text
print(company_text)
五 . 补充踩过的坑:
get请求参数有 url params headers
post请求参数 url data headers
使用urllib爬取数据请参考:https://www.cnblogs.com/bobo-zhang/p/9646634.html