scrapyd+gerapy之爬虫部署

一、Linux上安装scrapyd

1. linux下安装python3

可参考我之前博文:https://www.cnblogs.com/Liu928011/p/14864190.html

2. 安装scrapyd并配置软链接

  • 安装scrapyd:pip3 install scrapyd
  • 配置软链接:ln -s /usr/local/python3/bin/scrapyd /usr/bin/scrapyd

 

3. scrapyd默认是只能本机访问,我们需要修改配置,让其能够在外网访问。需要找到配置文件所在目录:

scrapyd+gerapy之爬虫部署

 

4. 进入scrapyd的目录

scrapyd+gerapy之爬虫部署

 

5. 修改default_scrapyd.conf文件

 scrapyd+gerapy之爬虫部署

 

6.vi或vim进入文件修改bind为0.0.0.0

scrapyd+gerapy之爬虫部署

 

7. cd到主目录并创建scrapywork目录

scrapyd+gerapy之爬虫部署

 

8. 启动scrapyd

scrapyd+gerapy之爬虫部署

 

9. 访问成功

scrapyd+gerapy之爬虫部署

二、Linux上安装gerapy

ps:gerapy是基于scrapyd创建的,所以,必须保证scrapyd是启动状态

1.安装gerapy:  pip3 install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2.配置软链接:  ln -s /usr/local/python3/bin/gerapy  /usr/bin/gerapy

3. 配置gerapy

(1)创建一个目录

scrapyd+gerapy之爬虫部署

 

(2)进入目录,初始化gerapy

gerapy init

scrapyd+gerapy之爬虫部署

 

 

(3)迁移生成数据库目录

gerapy makemigrations

 scrapyd+gerapy之爬虫部署

 

 

(4)进入gerapy目录

cd gerapy

 scrapyd+gerapy之爬虫部署

 

 

(5)数据迁移

gerapy migrate

 scrapyd+gerapy之爬虫部署

 

 

(6)创建超级管理员账号

gerapy createsuperuser

scrapyd+gerapy之爬虫部署

 

(7)启动服务

gerapy runserver 0.0.0.0:8000

scrapyd+gerapy之爬虫部署

 

4、访问

scrapyd+gerapy之爬虫部署

 

5、登录账号,创建主机(将项目发布到哪)

scrapyd+gerapy之爬虫部署

 

scrapyd+gerapy之爬虫部署

 

6、上传项目

scrapyd+gerapy之爬虫部署

 

 scrapyd+gerapy之爬虫部署

 ...........

scrapyd+gerapy之爬虫部署

上一篇:winform与下位机做蓝牙通信时需要注意的问题


下一篇:AcWing 276. I-区域