Python利用urllib2抓取网页返回乱码的问题

很多乱码问题是编码造成的,一般对于中文网站基本是UTF-8,GB2312,可以GB18030通吃。

另一个造成乱码的原因是压缩格式,很多规模较大的网站都是以gzip的压缩格式输出页面的,所以在用BS解析之前需要先判断该网页是否经过压缩,如果经过压缩则先进行解压操作。

Python利用urllib2抓取网页返回乱码的问题
import urllib2
import gzip
import StringIO

url = http://guomeidiyicheng.soufun.com/xiangqing/
data = urllib2.urlopen(url).read()
data = StringIO.StringIO(data)
gzipper = gzip.GzipFile(fileobj=data)
html = gzipper.read()
print html
Python利用urllib2抓取网页返回乱码的问题

Python利用urllib2抓取网页返回乱码的问题,布布扣,bubuko.com

Python利用urllib2抓取网页返回乱码的问题

上一篇:KNN算法java实现代码注释


下一篇:java基础知识复习