【一笔带过】爬虫的结果里status_code是404的问题排查

当爬虫的status_code显示404的时候,

1、请打开自己的浏览器,在没有其他网页的情况下重新打开一次你要爬取的网站地址

2、如1无问题,则对照浏览器的request header,排查你爬虫里的headers是否缺少了哪个要素,将其去掉再试一遍

3、如1、2无问题,则对照浏览器的request header,排查你爬虫里的headers是否多了哪个要素,将其去掉再试一遍

4、如1、2、3无问题,则冷静一下,休息5分钟

5、尝试用多个浏览器访问你要爬取的网站地址

6、如上面各项均无问题,那么请再百度或谷歌看看有没有其他好方案,并希望您能够给本博文留言,方便我去尝试更多的解决方法

 

本篇将会不断更新更多的检查方案。

 

上一篇:Centos 7 上 安装 NGINX 及简单配置


下一篇:study38