有同学在使用spider crawl xxx.jsonlines 的时候出现中文乱码问题,出现这个问题是因为爬虫的编码不一致导致的错误如下:
<ignore_js_op>
而要解决这个问题,就是要规定好爬虫的编码:
在启动爬虫命令后加上 -sFEED_EXPORT_ENCODING=UTF-8
更多技术资讯可关注:gzitcast
2024-03-01 21:46:16
有同学在使用spider crawl xxx.jsonlines 的时候出现中文乱码问题,出现这个问题是因为爬虫的编码不一致导致的错误如下:
<ignore_js_op>
而要解决这个问题,就是要规定好爬虫的编码:
在启动爬虫命令后加上 -sFEED_EXPORT_ENCODING=UTF-8
更多技术资讯可关注:gzitcast