win 下安装 sclapy
先安装 pip install wheel
py 库下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
在这个网址中下载 Scrapy 和 twisted ,pywin32
下载 twisted,在其所在文件夹十打开 cmd , pip install 安装 ,之后安装 Scrapy,
用这行命令
scrapy startproject pyjy
测试是否成功,如果 成功 在 C:\Users\Administrator\data 下将有新项目
创建 spiders 文件,:打开该文件夹,在该文件夹下打开cmd,
输入 scrapy genspider example example.com
此时可以看到多了个 py 文件
查看可执行文件: scrapy list
运行命令: scrapy crawl example
robots协议
当 parse 方法没有运行,
修改头文件
豆瓣数据