首先在同步两篇之前写过的博客,可能能用得到
1、https://www.cnblogs.com/lutt/p/10893192.html
2、https://www.cnblogs.com/lutt/p/10895317.html
在上述操作的过程中,在执行命令:scrapyd-deploy时遇报错:
/usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.
from scrapy.utils.http import basic_auth_header
Error: no Scrapy project found in this location
乍一看以为是路径问题导致找不到scrapy项目,其实不然,报错已经说明,由于底层scrapyd-deploy的模块‘scrapy.utils.http’已经弃用,建议更新为`w3lib.http`替代
解决办法其实很简单,点击上图链接:
把原先第23行代码替换成24行即可成功解决这一问题!
在将scrapyd部署的过程中可能还会遇到其他问题,比如:
Don't worry
不着急,详情请移步我开头的两篇博客