scrapy 抓取数据被禁止的解决方法2021-12-23 20:27:06 在用抓取头条新闻的数据时出现以下问题：禁止抓取，结果数据没有出来 后来经过查询得知需要把settings.py里面 修改为ROBOTSTXT_OBEY = False就可以了， 默认True 上一篇：jQuery获取Select选择的Text(非表单元素)和 Value（表单元素）(转)下一篇：字符串-06. IP地址转换(20)