爬当当网遇见418

今天爬取当当网的时候突然遇见了418状态码,整个人都不好了。应该是有反爬机制。
于是我先试了一下增加User-Agent,假装我是一个浏览器,看看能不能返回200状态码。
很幸运,完美的返回了200状态码。
总结,当当网也有了反爬机制,现在需要添加User-Agent。

上一篇:在苹果Mac中使用 CleanMyMac X 清理垃圾时频繁要求输入密码如何解决?


下一篇:最简 jenkins-agent 镜像