潭州课堂25班:Ph201805201 爬虫高级 第九课 scrapyd 部署 (课堂笔记)

c

rapyd是 scrapy 的部署, 是官方提供的一个爬虫管理工具,

通过他可以非常方便的上传控制爬虫的运行,

安装 : pip install scapyd

他提供了一个json ,web, server

在命令行中输入scrapyd 回车,

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

给个本地请求:  curl http://localhost:6800

如果 是*面的 linux ,可以通过端口转发

python安装库的路径

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

vim进到该文件中 默认为127.0.0.1

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

这样就可以访问了,

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

还要安装个客户端, pin install scrapy client

在这个文件中配置服务信息

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

需要配置的就这两个,一个是服务器 ip, 一个是项目名,

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

列出可用的服务器

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

部署项目: scrapyd-deploy <target0> -p <project>--version<version>

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

用最装箱单的方法写推送:scrapyd-deploy -p 项目名

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

调用爬虫: curl http://localhost:6800/schedule.json -d project xxx -d spider=xx

xxx 是项目名,

xx 是爬虫的名字,在项目里的 spider 目录下的 xx.py 文件的名字

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

取消爬虫: curl http://localhost:6800/cancer.json -d project xxx -d job=0000000

其中0000000表示这个爬虫的 jobid

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

列出所有的 job:      curl http://localhost:6800/listjobs.json?project=xxx

其中 xxx 项目名

列出爬虫:      curl http://localhost:6800/listjobs.json?spider=xxx

删除项目: curl http://localhost:6800/delproject.json -d projec=xxxx -d version=

查scrapy 进程id

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第九课  scrapyd 部署  (课堂笔记)

上一篇:ASP.NET MVC 4 的JS/CSS打包压缩功能-------过滤文件


下一篇:iis7.5配置.net mvc注意事项