Scrapy数据持久化

数据持久化的需求:

  与其他系统交互的需求

数据持久化的方式:

  保存为文件:

    json

    csv

  保存到数据库中:

    mysql

    MongoDB

 

将数据保存在文件中的方法:

Feed exports:将数据导出成常用格式的方法

  默认支持的格式:

    JSON、JSON line、CSV、XML

  使用方法:

    在命令行中使用 -o 来调对应的 Feed exports

    在 settings.py 中配置 Feed exports

      FEED_FORMAT = 'csv'

      FEED_URL = 'python.csv'  

上一篇:node 深入浅出


下一篇:Webpack入口文件分析