Urllib.requset.Request加入请求头部

上一个随笔中报错:

urllib.error.HTTPError: HTTP Error 418:

百度后,加上头部得以解决。

 

urllib.request.Request

功能:声明一个request对象。可自定义header等请求信息。

 

本次,加入一个更多参数的header。

# 导入urllib
import urllib.request
# 定义一个头部
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36',
    'Referer':'https://movie.douban.com/',
    'Connection': 'keep-alive'
}
# 给url加头部
_url = urllib.request.Request('https://movie.douban.com/',headers=headers)
# 打开url
response = urllib.request.urlopen(_url, None, 10)
# 读取返回的内容
html = response.read().decode('utf-8')
# 写入txt
with open('html','w',encoding='utf-8') as f:
    f.write(html)

 

上一篇:简单的python爬虫图片获取


下一篇:python爬虫基础之urllib