requests模块和urllib模块爬取图片
requests模块
import requests
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36‘
}
# 方式1:
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘
img_data = requests.get(url=url, headers=headers).content # content返回的是byte类型的数据
with open(‘./123.jpg‘, ‘wb‘) as fp:
fp.write(img_data)
使用urllib模块
urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib
直接写入文本，内部帮我们写文件
#方式2:
from urllib import request
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘
request.urlretrieve(url,‘./456.jpg‘)
区别
方式1和方式2对于图片数据爬取的操作最大的不同之处是在哪?
方式2不可以使用UA伪装的机制