httplib urllib urllib2 pycurl 比较

2023-08-16 14:31:10

最近网上面试看到了有关这方面的问题，由于近两个月这些库或多或少都用过，现在根据自己的经验和网上介绍来总结一下。

httplib

实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。所以效率要比这两个库高一点。http://www.cnblogs.com/beiyeren/p/4046139.html

#-*- coding:utf-8 –*-

from urlparse import urlparse

import httplib

from hds.utils import get_logger

import json

from exception import HTTPException

class HttpClienttMonitor(object):

    def __init__(self, logger=None):

        self.logger = logger or get_logger("HttpClienttMonitor")

    def send_request_with_body(self, url, content, method, token):

        self.logger.info("url: "+url)

        self.logger.info(method+ ": "+ str(content))

        assert len(url) != 0,"url is empty"

        assert len(token) !=0,"token is empty"

        o = urlparse(url)

        content = json.dumps(content).encode('utf-8')

        headers = {"Content-Type":"application/json"}

        headers["Authorization"] = token

        httpClient = httplib.HTTPConnection(o.hostname, o.port)

        try:

            httpClient.set_debuglevel(0)

            httpClient.request(method, o.path+"?"+o.query, content, headers)

            response = httpClient.getresponse()

            if not response:

                return "No response from httpClient"

            self.logger.info("status: "+str(response.status))

            self.logger.info("reason: " + response.reason)

            return response.status

        except Exception as e:

            raise HTTPException(e)

        finally:

            if httpClient:

                httpClient.close()

class HTTP_REQUEST_METHOD():

    get = "GET"

    post = "POST"

    delete = "DELETE"

    put = "PUT"

    patch = "PATCH"

urllib2 和urllib各有各自的特点：

urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL. That means, you cannot masquerade your User Agent string etc.

urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以伪装你的User Agent字符串等。

urllib provides the urlencode method which is used for the generation of GET query strings, urllib2 doesn't have such a function. This is one of the reasons why urllib is often used along with urllib2.

urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

pycurl

关于python网络编程，使用urllib与服务器通信时，客户端的数据是添加到Head里面通过URL，发送到服务器端，urllib包实现客户端上传文件时，会出现死掉的状态（实际上是超时设置问题）。
Pycurl包是一个libcurl的Python接口，它是由C语言编写的。与urllib相比，它的速度要快很多。
Libcurl 是一个支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 和 LDAP的客户端URL传输库.libcurl也支持HTTPS认证,HTTP POST,HTTP PUT,FTP上传,代理,Cookies,基本身份验证,FTP文件断点继传,HTTP代理通道等等。

class CurlTest(object):

    def post(self):

        provisionContent["metadata"] = metadata

        b = StringIO.StringIO()

        c = pycurl.Curl()

        c.setopt(pycurl.VERBOSE, 1)

        c.setopt(pycurl.URL, remoteServiceURL)

        c.setopt(pycurl.HTTPHEADER, ["Accept: application/json",

                                     "Content-Type: application/json"

                                     ])
　　　　

        c.setopt(pycurl.WRITEFUNCTION, b.write)

        c.setopt(pycurl.FOLLOWLOCATION, 1)

        c.setopt(pycurl.MAXREDIRS, 5)

        c.setopt(c.POSTFIELDS, json.dumps(provisionContent))

        c.perform()

        print c.getinfo(c.HTTP_CODE), c.getinfo(c.EFFECTIVE_URL), c.POSTFIELDS

        print b.getvalue()

        self.response = eval(b.getvalue())

        b.close()

        c.close()

其中c.setopt(pycurl.WRITEFUNCTION, b.write) #把StringIO的写函数注册到pycurl的WRITEFUNCTION中，即pycurl所有获取的内容都写入到StringIO中，如果没有这一句，pycurl就会把所有的内容在默认的输出器中输出

pycurl常用操作如下：

pycurl.Curl() #创建一个pycurl对象的方法
pycurl.Curl(pycurl.URL, http://www.google.com.hk) #设置要访问的URL
pycurl.Curl().setopt(pycurl.MAXREDIRS, 5) #设置最大重定向次数
pycurl.Curl().setopt(pycurl.CONNECTTIMEOUT, 60)
pycurl.Curl().setopt(pycurl.TIMEOUT, 300) #连接超时设置
pycurl.Curl().setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)") #模拟浏览器
pycurl.Curl().perform() #服务器端返回的信息
pycurl.Curl().getinfo(pycurl.HTTP_CODE) #查看HTTP的状态类似urllib中status属性
pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话，花费的时间
pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息
pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH

码农公寓

相关文章