python爬虫中文乱码解决方法

python爬虫中文乱码

前几天用python来爬取全国行政区划编码的时候,遇到了中文乱码的问题,折腾了一会儿,才解决。现特记录一下,方便以后查看。

我是用python的requests和bs4库来实现爬虫,这两个库的简单用法可参照python爬取当当网的书籍信息并保存到csv文件

乱码未处理前部分代码

   url = '要爬取的网页'
r = requests.get(url, timeout=30)
soup = BeautifulSoup(r.text, 'lxml')

乱码原因

我爬取的网页使用的编码是GBK。所以要按GBK编码,才能避免中文乱码。

解决乱码的代码

   url = '要爬取的网页'
r = requests.get(url, timeout=30)
r.encoding='GBK' #增加encoding=‘GBK’,解决中文乱码问题
soup = BeautifulSoup(r.text, 'lxml')

【原创声明】转载请标明出处:https://www.cnblogs.com/surecheun/p/9694052.html

上一篇:【转】Python BeautifulSoup 中文乱码解决方法


下一篇:Sublime text 入门学习资源篇及其基本使用方法