scrapy命令行

以下均需cd到具体目录下执行

  1. 创建项目:scrapy startproject [项目名]

  2. 生成爬虫:scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件
    例如: scrapy genspider maitian maitian.com

  3. 运行:scrapy crawl +爬虫名称 即爬虫文件中name的值
    保存为json格式:scrapy crawl zufang -o zufang.json
    保存为csv格式:scrapy crawl zufang -o zufang.csv

  4. check检查错误:scrapy check

  5. list返回项目所有spider名称:scrapy list

  6. view 存储、打开网页:scrapy view https://www.baidu.com

  7. scrapy shell,进入终端:scrapy shell https://www.baidu.com

上一篇:多个scrapy同时执行


下一篇:python scrapy 重复执行