urllib3是一个功能强大、条理清晰、用于http客户端的python库,相对于urllib它所有的特点如下:
线程安全
连接池
客户端SSL/TLS验证
使用多部分编码上传文件
Helpers用于重试请求并处理HTTP重定向
支持gzip和deflate编码
支持HTTP和SOCKS代理
100%的测试覆盖率
通过urllib3模块实现发送网络请求的示例代码如下:
import urllib3 #创建PoolManager对象,用于处理与线程池得到连接以及线程安全的所有细节 http=urllib3.PoolManager() #对需要爬取的网页发送请求 response=http.request('GET','https://www.baidu.com/') print(response.data)
post请求实现获取网页信息的代码:
import urllib3 http=urllib3.PoolManager() response=http.request('POST','https://httpbin.org/post',fields={'word':'hello'}) print(response.data)