Outline

因为爬虫代码突然爬取失败了，因此拿来调试；

用pycharm调试scrapy爬虫代码时，代码思路、流程都是ok的，理论来说应该可以按逻辑走，而且以前也是调通过的；

但就是无法debug到 parse() 方法中；

问题定位

 看了下scrapy打印的日志，看到了上图信息；

关键点在这里：robots.txt、Forbidden by robots.txt

目标网站的 robots 协议不允许，爬虫、搜索引擎向目标URL发送POST请求，然而我的操作就是向其发送POST；

（robotst.txt 会告诉爬虫、搜索引擎哪些页面可以抓取，哪些页面不能抓取，进而起到限制的效果。）

解决

解决这个问题应该着眼于 robots.txt，幸运的是scrapy框架可以直接在配置项中解决这个问题；

scrapy 项目目录下有一个 settings.py 文件；

里面有这么个默认配置：

# Obey robots.txt rules
ROBOTSTXT_OBEY = True  # 默认为True

他的作用是：是否遵守 robots.txt 的规则

Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

我们可以将此项设置为False，拒绝遵守robots协议，进而规避掉一些爬虫失败风险

（拿来实验可以，建议大家还是要遵守人家的robots协议）

# Obey robots.txt rules
ROBOTSTXT_OBEY = False  # 默认为True

改了之后问题解决，可以debug进parse方法了~

参考

关于如何用pycharm调试scrapy，可以参考：

https://www.cnblogs.com/bigtreei/p/14701520.html