一、Linux上安装scrapyd
1. linux下安装python3
可参考我之前博文:https://www.cnblogs.com/Liu928011/p/14864190.html
2. 安装scrapyd并配置软链接
- 安装scrapyd:pip3 install scrapyd
- 配置软链接:ln -s /usr/local/python3/bin/scrapyd /usr/bin/scrapyd
3. scrapyd默认是只能本机访问,我们需要修改配置,让其能够在外网访问。需要找到配置文件所在目录:
4. 进入scrapyd的目录
5. 修改default_scrapyd.conf文件
6.vi或vim进入文件修改bind为0.0.0.0
7. cd到主目录并创建scrapywork目录
8. 启动scrapyd
9. 访问成功
二、Linux上安装gerapy
ps:gerapy是基于scrapyd创建的,所以,必须保证scrapyd是启动状态
1.安装gerapy: pip3 install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple
2.配置软链接: ln -s /usr/local/python3/bin/gerapy /usr/bin/gerapy
3. 配置gerapy
(1)创建一个目录
(2)进入目录,初始化gerapy
gerapy init
(3)迁移生成数据库目录
gerapy makemigrations
(4)进入gerapy目录
cd gerapy
(5)数据迁移
gerapy migrate
(6)创建超级管理员账号
gerapy createsuperuser
(7)启动服务
gerapy runserver 0.0.0.0:8000
4、访问
5、登录账号,创建主机(将项目发布到哪)
6、上传项目
...........