最近感觉很多网站都风控的很严啊,这几天因为业务需求需要获取亚马逊数据。然后访问的时候才发现有些时候能返回数据,有些时候返回503,返回503的时候不管我怎么切换ip或者修改请求头,都不管用。浏览器能正常访问。不知道如何下手
然后在网上找了很多的解决办法都不行,咨询爬虫小伙伴才知道,503就是反爬,代理直接被亚马逊拉黑了,不仅是503,像出现200的字符、重定向都是因为反爬了。经过半天的研究我发现出现503最主要的是因为我使用的代理ip质量不行,然后换了一家重新试了下,也更换了代理的接入模式,https://www.16yun.cn/help/ss_demo/。现在的采集方案是随机切换请求头,cookie和ip,然后每次请求更换新的ip,ip质量还可以,虽然访问过程中还是会返回503,但是比例比较少,可以忽略不计。
如果大家在采集数据过程中遇到503比较棘手,可以一起交流交流。