一、初来乍到-体验
安装scrapy
pip install scrapy
安装 twisted依赖
pip install pywin32
尽量下载和电脑一样的操作系统65win64
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装 wheel

pip install wheel

1.创建scrapy项目
命令行
scrapy startproject ershouche
2.创建scrapy爬虫项目
创建之前进入scrapy项目目录
cd ershouche
命令行
scrapy genspider cars www.che168.com
创建后在spider目录下有个叫cars的文件的爬虫

#注意这里要替换掉成要爬取的网址
start_urls = [‘https://www.che168.com/china/fengtian/#pvareaid=108402#listfilterstart’]

def parse(self, response):
print(‘数据抓回来了’)
print(response.status)
print(‘数据解析玩成’)
命令行运行代码
scrapy crawl cars

打印关键字 日志过滤

scrapy crawl cars -L ERROR

数据抓回来了
200
数据解析玩成

改下爬虫

scrapy genspider news www.che168.com