今天爬取当当网的时候突然遇见了418状态码,整个人都不好了。应该是有反爬机制。
于是我先试了一下增加User-Agent,假装我是一个浏览器,看看能不能返回200状态码。
很幸运,完美的返回了200状态码。
总结,当当网也有了反爬机制,现在需要添加User-Agent。
相关文章
- 03-02爬当当网遇见418
- 03-02xpath爬取当当网
- 03-02Scarpy爬取当当网书籍
- 03-02python爬取当当网的书籍信息并保存到csv文件
- 03-02网络爬虫之定向爬虫:爬取当当网2015年图书销售排行榜信息(Crawler)
- 03-02python3爬虫-4.正则表达式爬取当当网TOP500书籍
- 03-02scrapy爬取当当网整个悬疑类的书籍的src,name,img,mysql入库
- 03-02Python实战案例分享:爬取当当网商品数据
- 03-02selenium自动化测试工具模拟登陆爬取当当网top500畅销书单
- 03-02爬取当当网 --------分布式爬虫scrapy_redis--------python爬虫案例