关于网络爬虫与网站限制IP的思考

网络爬虫者和网站开发人员一直在玩着“潜伏”的游戏,开发人员需要火眼金睛,网络爬虫者需要72般变化,成功演绎一场攻防战。

作为网站后台开发人员,需要对恶意频繁访问的请求进行限制,甚至将请求IP拉入到黑名单,以免给网站带来大量的并发。

而对于网络爬虫者,为了获取查询数据结果,他们会尽量模仿真实用户的请求,防止被网站设别。
        采取的方式有:
               1、user agent 伪装和轮换,尽量模拟真实用户请求
                2、使用多IP或者代理IP进行轮换
                3、访问时间间隔设长一点,访问时间设置为随机数

当然,作为一个有良心的coder,如果能够通过正规途径来抓取网站数据(比如webservice),请采用正规途径,这样也可以得到网站的技术支持。如果需要线下来抓取,
则尽量把抓取频率降低些,一方面是防止网站后台识别;另一方面也是考虑网站的承受压力。毕竟如果真把别人惹毛了,人家随意一个程序修改,就可以让你的
程序前功尽弃,就如12306不断的更新就是恶意防止别个软件的访问。

关于网络爬虫与网站限制IP的思考

上一篇:推荐一些编程学习网站


下一篇:机器更换登录密码重启,然后SQL Server登录不了