spider crawl xxx.jsonlines 编码乱码

有同学在使用spider crawl xxx.jsonlines 的时候出现中文乱码问题,出现这个问题是因为爬虫的编码不一致导致的错误如下:
<ignore_js_op>spider crawl xxx.jsonlines 编码乱码 

而要解决这个问题,就是要规定好爬虫的编码:
在启动爬虫命令后加上 -sFEED_EXPORT_ENCODING=UTF-8

更多技术资讯可关注:gzitcast

上一篇:flask,scrapy,django信号


下一篇:python--spider验证码