报错
** 在爬取大量图片时遇到的报错**
解决方法:
- IP被封
更换headers或者换代理IP
proxies = {"http": "http://101.132.111.208:8082"}
** 注:代理分为http和https两种,不能用混。**
- http的连接数超过最大限制。
headers的Connection参数默认为keep-alive,导致之前所有的链接都一直存在,占用了后续的链接请求。
requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数
s = requests.session()
s.keep_alive = False # 关闭多余连接
- 网站服务器太差,爬取请求的速度太快。
time.sleep(1)
就我个人而言:第一种方法更适用。