洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

httplib

1.简介

同样的,httplib默认存在于python2,python3不存在:

洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

httplib是python中http协议的客户端实现,可以用来与 HTTP 服务器进行交互,支持HTTP和HTTPShttplib功能挺实用,也挺简单,不信的话,接着看

2.方法/属性

httplib的内容不是很多,也比较简单

洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

3.常用方法/属性解析

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] ):HTTPConnection类的构造函数(有没有发现和urllib.urlopen对象很像?),表示一次与服务器之间的交互,即请求/响应。

  • host:服务器ip或者url,如:www.baidu.com
  • port:端口号,默认值为80
  • strict:默认值为false, 表示在无法解析服务器返回的状态行时( status line),是否抛BadStatusLine 异常(最常见的: HTTP/1.0 200 OK )
  • timeout:超时时间

对象HTTPConnection的方法:

HTTPConnection.request ( method , url [ , body [ , headers ]] )(这里是不是又很像urllib2.request):调用request 方法会向服务器发送一次请求

  • method:请求的方法,常用有方法有get 和post
  • url:请求的资源的url
  • body:提交到服务器的数据,必须是字符串(如果method 是”post” ,则可以把body 理解为html 表单中的数据)
  • headers:请求的http头

HTTPConnection.connect():连接到Http服务器

HTTPConnection.close():关闭与服务器的连接

HTTPConnection.set_debuglevel ( level ):设置高度级别,参数level的默认值为0 ,表示不输出任何调试信息

HTTPConnection.getresponse():表示服务器对客户端请求的http响应,返回的对象是HTTPResponse 的实例,下面提到

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

对象httplib.HTTPResponse方法:

HTTPResponse.read([amt]):获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

HTTPResponse.getheader(name[, default]):获取响应头

  • name表示头域(header field)名
  • default在头域名不存在的情况下作为默认值返回

HTTPResponse.getheaders():以列表的形式返回所有的头信息

HTTPResponse.msg:获取所有的响应头信息

HTTPResponse.version:获取服务器所使用的http协议版本,比如11表示http/1.1;10表示http/1.0

HTTPResponse.status:获取响应的状态码,如:200

HTTPResponse.reason:返回服务器处理请求的结果说明,多为”OK”

例:

#coding=utf-8
import httplib
test=httplib.HTTPConnection('www.baidu.com',80,False)
test.request('GET','/',headers={'Host': 'www.baidu.com',
                                    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0',
                                    'Accept': 'text/plain'})
res = test.getresponse()
print 'version:%s'%res.version
print 'reason:%s'%res.reason
print 'status:%s'%res.status
print 'msg:%s'%res.msg
print 'headers:%s'%res.getheaders()  

print res.read()
test.close()

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

结果:

洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

其他方法和属性自己下去再测试了

Httplib模块中还定义了一些常量

Httplib. HTTP_PORT:值为80,表示默认的端口号为80

Httplib.OK:值为200,表示请求成功返回

Httplib. NOT_FOUND:值为404,表示请求的资源不存在

洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

可以通过httplib.responses 查询相关变量的含义

洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

其实有没有觉得httplib还相对挺简单的,我个人感觉比urllib功能多点,比urllib2简单。

免责声明

本博文只是为了分享技术和共同学习为目的,并不出于商业目的和用途,也不希望用于商业用途,特此声明。如果内容中测试的贵站站长有异议,请联系我立即删除

上一篇:Python 学习 第九篇:模块


下一篇:Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码