使用pycharm配置scrapy环境

使用pycharm配置scrapy环境

1. 先使用命令行创建一个scrapy项目

scrapy startproject test

使用pycharm配置scrapy环境

2. 再生成一个爬虫

scrapy genspider spider https://news.baidu.com/

使用pycharm配置scrapy环境

3. 用pycharm打开scrapy项目

注意是打开项目目录
使用pycharm配置scrapy环境

4. 配置运行环境

使用pycharm配置scrapy环境

使用pycharm配置scrapy环境

使用pycharm配置scrapy环境

使用pycharm配置scrapy环境

使用pycharm配置scrapy环境

5. 检查下是否切换到虚拟环境

使用pycharm配置scrapy环境

6. 安装scrapy

pip3 install scrapy

7. 在项目目录下创建main.py 作为启动爬虫的脚本

使用pycharm配置scrapy环境


from scrapy import cmdline

cmdline.execute("scrapy crawl spider".split())

8. 下次可以直接执行main.py 即可运行spider

上一篇:(Eclipse/Myeclipse) Some projects cannot be imported because they already exist in the workspace


下一篇:Ubuntu命令行安装Android SDK