使用pycharm配置scrapy环境
1. 先使用命令行创建一个scrapy项目
scrapy startproject test
2. 再生成一个爬虫
scrapy genspider spider https://news.baidu.com/
3. 用pycharm打开scrapy项目
注意是打开项目目录
4. 配置运行环境
5. 检查下是否切换到虚拟环境
6. 安装scrapy
pip3 install scrapy
7. 在项目目录下创建main.py 作为启动爬虫的脚本
from scrapy import cmdline
cmdline.execute("scrapy crawl spider".split())