以下均需cd到具体目录下执行
-
创建项目:scrapy startproject [项目名]
-
生成爬虫:scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件
例如: scrapy genspider maitian maitian.com -
运行:scrapy crawl +爬虫名称 即爬虫文件中name的值
保存为json格式:scrapy crawl zufang -o zufang.json
保存为csv格式:scrapy crawl zufang -o zufang.csv -
check检查错误:scrapy check
-
list返回项目所有spider名称:scrapy list
-
view 存储、打开网页:scrapy view https://www.baidu.com
-
scrapy shell,进入终端:scrapy shell https://www.baidu.com