一、背景
目前百度爬虫爬取业务总是按照自己的性能进行抓取客户数据,从来不考虑客户端的网络承受能力,导致客户端网络带宽超出预算范围,因此在客户端方面针对百度的无限制抓取采取相应的策略。
二、解决方案:
1、单独用一个公网IP承载百度抓取业务。例:123.103.77.13
2、在交换机上针对IP:123.103.77.13进行单IP限速
a、创建ACL
acl number 3001 name baidu_spider_acl rule 1 permit ip source 123.103.77.13 0
b、创建 classifier 匹配ACL
traffic classifier baidu_spider operator and if-match acl 3001
c、创建 限制策略
traffic behavior baidu_spide car cir 51200 #限速50M ,此数值必须为8的倍数
d、创建QOS,关联 classifier 和 限制策略
qos policy baidu_spider classifier baidu_spider behavior baidu_spider
e、端口上应用策略
# qos apply policy baidu_spider outbound
f、效果展示: