URL解析器urllib2

urllib2是Python的一个库(不用下载,安装,只需要使用时导入import urllib2)它提供了一系列用于操作URL的功能。

urlopen

urllib2.urlopen可以接受Request对象,urllib不能,本文采用urllib2

urllib2.urlopen(url, *data, *timeout)

urlopen方法是urllib2模块最常用的方法,用于访问发送某一请求。

可选参数timeout用于设置超时时间,以秒为单位。

在data为None时默认用GET方法:

response = urllib2.urlopen('http://www.baidu.com/')

html = response.read()

这样就获取了该网页的html

在data不为None时使用POST方法:

parmas = urllib2.urlencode({'spam':1,'eggs':2,'bacon':0})

parmas = urllib2.urlencode(values)
response=urllib2.urlopen("http://python.org/query",parmas) html = response.read()

urlopen返回对象提供方法:

-         read() , readline() ,readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样

-         info():返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息

-         getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到

-         geturl():返回请求的url

 

urlretrieve

urlretrieve方法将url定位到的html文件下载到你本地的硬盘中。如果不指定filename,则会存为临时文件。

urllib.urlretrieve(link,path)
urllib.urlcleanup()清除由于urllib.urlretrieve()所产生的缓存
上一篇:Tensorflow函数——tf.variable_scope()


下一篇:MySQL正则表达式初步