修改配置nginx,限制无良爬虫频率

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。


本文转自叶金荣51CTO博客,原文链接:http://blog.51cto.com/imysql/1879764,如需转载请自行联系原作者

上一篇:阿里云故障演练平台获得可信云最高等级认证,为企业数字韧性能力保驾护航


下一篇:MySQL数据库的优化(二)