scrapy框架的文件导出设置

1、scrapy导出爬取数据到本地的命令

1) 以json格式进行导出
	`命令:scrapy crawl 爬虫名称 -o  file_name.json`
2) 以xml格式进行导出
	`命令:scrapy crawl 爬虫名称 -o  file_name.xml`
3) 以csv格式进行导出
	`命令:scrapy crawl 爬虫名称 -o  file_name.csv`
4) 以其他格式进行导出
	`其他文件格式: 'jsonlines',  'jl',   'pickle',  'marshal'`

2、scrapy指定编码格式导出爬取数据到本地

1) 设置方法一
	```scrapy crawl 爬虫名 -o file_name.json -s FEED_EXPORT_ENCODING=UTF-8
	
	   scrapy crawl 爬虫名 -o file_name.csv -s FEED_EXPORT_ENCODING=UTF-8
	   
	   scrapy crawl 爬虫名 -o file_name.xml -s FEED_EXPORT_ENCODING=UTF-8```
2) 设置方法二
  ```可以在爬虫项目的配置文件settings.py 中添加以下设置:    
        
         FEED_EXPORT_ENCODING = 'UTF8'```
上一篇:QList操作


下一篇:Qt之QList类介绍