代理的使用

1、代理池: https://github.com/Python3WebSpider/ProxyPool

从网络上获取代理

判断是否可用

储存到redis

定期检测代理地址的有效性

2、使用过程

代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用代理

 

上一篇:Netapp的Snapmirror复制网络流量QoS


下一篇:github推送