当爬虫的status_code显示404的时候,
1、请打开自己的浏览器,在没有其他网页的情况下重新打开一次你要爬取的网站地址
2、如1无问题,则对照浏览器的request header,排查你爬虫里的headers是否缺少了哪个要素,将其去掉再试一遍
3、如1、2无问题,则对照浏览器的request header,排查你爬虫里的headers是否多了哪个要素,将其去掉再试一遍
4、如1、2、3无问题,则冷静一下,休息5分钟
5、尝试用多个浏览器访问你要爬取的网站地址
6、如上面各项均无问题,那么请再百度或谷歌看看有没有其他好方案,并希望您能够给本博文留言,方便我去尝试更多的解决方法。
本篇将会不断更新更多的检查方案。