Scrapy+Scrapyd+Scrapydweb实现爬虫可视化
- Scrapyd是一个服务，用来运行scrapy爬虫的
- 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫
- 官方文档：http://scrapyd.readthedocs.org/
安装scrapyd
pip install scrapyd
- ScrapydWeb：用于 Scrapyd 集群管理的web应用，支持 Scrapy 日志分析和可视化。
- github地址
安装scrapydweb
pip install scrapydweb
启动
- 运行
scrapyd,打开命令行执行scrapyd启动服务 - 通过运行命令
scrapydweb启动 ScrapydWeb（首次启动将自动生成配置文件）。 - 访问
http://127.0.0.1:5000（建议使用 Google Chrome 以获取更好体验）。
注意
忘记了，以后再来写