爬虫 一些爬取图片时出现的错误

报错

** 在爬取大量图片时遇到的报错**
爬虫 一些爬取图片时出现的错误

解决方法:

  1. IP被封
    更换headers或者换代理IP
proxies = {"http": "http://101.132.111.208:8082"}

** 注:代理分为http和https两种,不能用混。**

  1. http的连接数超过最大限制。
    headers的Connection参数默认为keep-alive,导致之前所有的链接都一直存在,占用了后续的链接请求。
requests.adapters.DEFAULT_RETRIES = 5  # 增加重连次数
s = requests.session()
s.keep_alive = False  # 关闭多余连接
  1. 网站服务器太差,爬取请求的速度太快。
    time.sleep(1)

就我个人而言:第一种方法更适用。

上一篇:vue3.x keep-alive不生效


下一篇:vue keep-alive