Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案

出现乱码的原因是,网页服务端有bug,它硬性使用使用某种特定的编码方案,而并没有按照客户端的请求头的编码要求来发送编码。

解决方案:使用chardet来猜测网页编码。

1.去chardet官网下载chardet的py源码包。

2.把chardet目录从源码包里解压到项目文件夹内。

3.通过 import chardet 来引用它,然后:

 

Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案
 1 response = None
 2 #尝试下载网页
 3 try:
 4     response = urllib2.urlopen("http://www.baidu.com")
 5 except Exception as e:
 6     print "错误:下载网页时遇到问题:" + str(e)
 7     return
 8 
 9 if response.code != 200:
10     print "错误:访问后,返回的状态代码(Code)并不是预期值【200】,而是【" + str(response.code) + ""
11     return
12 
13 if response.msg != "OK":
14     print "错误:访问后,返回的状态消息并不是预期值【OK】,而是【" + response.msg + ""
15     return
16 
17 #读取html代码
18 htmlCode = None
19 try:
20     htmlCode = response.read()
21 except Exception as e:
22     print "错误:下载完毕后,从响应流里读出网页代码时遇到问题:" + str(e)
23     return
24 
25 #处理网页编码
26 htmlCode_encode = None
27 try:
28     #猜编码类型
29     htmlCharsetGuess = chardet.detect(htmlCode)
30     htmlCharsetEncoding = htmlCharsetGuess["encoding"]
31     #解码
32     htmlCode_decode = htmlCode.decode(htmlCharsetEncoding)
33     #获取系统编码
34     currentSystemEncoding = sys.getfilesystemencoding()
35     #按系统编码,再进行编码。
36     ‘‘‘
37         做这一步的目的是,让编码出来的东西,可以在python中进行处理
38         比如: 
39              key = "你好"
40              str = "xxxx你好yyyy"
41              keyPos = str.find( key )
42         如果不做再编码,这一步就可能会报错出问题
43     ‘‘‘
44     htmlCode_encode = htmlCode_decode.encode(currentSystemEncoding)
45     except Exception as e:
46         print "错误:在处理网页编码时遇到问题:" + str(e)
47         return
48 #htmlCode_encode即为所求
49 return htmlCode_encode
Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案

Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案

上一篇:Python 源码学习之内存管理 -- (转)


下一篇:R 语言 缺失值处理并使用SMOTE处理不平衡数据集