1、代理池: https://github.com/Python3WebSpider/ProxyPool
从网络上获取代理
判断是否可用
储存到redis
定期检测代理地址的有效性
2、使用过程
代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用代理
2024-02-03 16:32:46
1、代理池: https://github.com/Python3WebSpider/ProxyPool
从网络上获取代理
判断是否可用
储存到redis
定期检测代理地址的有效性
2、使用过程
代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用代理