nginx修改配置限制恶意爬虫频率
更新时间：2016年08月25日 10:56:50 投稿：daisy
这篇文章主要介绍在nginx中怎样修改相关配置，以限制恶意爬虫频率的方法，有需要的朋友参考下。
如何在nginx中限制恶意网络爬虫抓取内容呢？也就是限制下恶意爬虫的抓取频率。下面来一起看看。
今天在微博发现@金荣叶 的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超过设置的限定频率，就会给spider一个503。
总结
以上就是nginx修改配置限制恶意爬虫频率的全部内容，希望对大家的工作和学习能有所帮助，如果有疑问可以留言交流。
相关文章
nginx下伪静态配置参数详细说明，使用nginx的朋友，nginx rewrite 伪静态配置参数和使用例子 附正则使用说明2010-07-07
之前大家可能经常会基于apache去部署zabbix，但是这样会偶尔遇到一些问题，今天小编就带大家操作一下基于nginx的zabbix5.0的部署。感兴趣的可以了解一下2021-07-07
这篇文章主要为大家介绍了Nginx实现ChatGPT API代理步骤详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
这篇文章主要介绍了关于nginx访问控制的两种方法，一种是基于Basic Auth认证，另一种是基于IP的访问控制，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。2017-03-03
这篇文章主要介绍了nginx反向代理文件下载失败问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
nginx使用replace-filter-nginx-module实现内容替换的示例
本篇文章主要介绍了nginx使用replace-filter-nginx-module实现内容替换的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-03-03
本文为大家介绍一下nginx配置的相关介绍，供大家参考2013-02-02
Nginx(engine x)是一个轻量级的高性能的HTTP和反向代理web服务器及电子邮件(IMAP/POP3)代理服务器,下面这篇文章主要给大家介绍了关于Nginx配置文件nginx.conf基本配置的相关资料,需要的朋友可以参考下2022-09-09
这篇文章主要为大家详细介绍了nginx实现负载均衡和动静分离，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
Nginx 负载均衡的简单配置例子，供初学的朋友参考下2013-02-02
最新评论