Nginx 限流和流量控制的实现

更新时间：2024年09月20日 08:36:26 作者：大家都说我身材好

Nginx通过limit_req和limit_conn模块提供请求次数和并发连接数限制,防止服务器过载,本文就来介绍一下Nginx 限流和流量控制的实现,感兴趣的可以了解一下

Nginx 提供了强大的流量控制功能。限制客户端在特定时间段内的请求次数，以保护服务器资源，防止因过载而导致的性能下降甚至服务不可用。限流在防止DDoS攻击、爬虫过度抓取和滥用API等方面有着重要作用。这里将详细介绍Nginx限流的工作原理、配置方法、各种限流策略以及实际应用。

一、Nginx限流的工作原理

Nginx的限流功能主要通过limit_req和limit_conn模块实现：

limit_req模块： 用于限制每秒的请求次数。该模块基于令牌桶（Token Bucket）算法，每个请求在处理前必须从令牌桶中获取一个令牌，如果没有令牌可用，则请求被延迟或拒绝。
limit_conn模块： 用于限制同时连接数。该模块控制每个特定键（如IP地址或用户）允许的最大并发连接数。

二、limit_req模块配置

limit_req模块通过定义共享内存区域来存储限流信息，并在特定的上下文中应用限流策略。

1. 定义共享内存区域

首先，需要定义一个共享内存区域来存储请求的计数信息。可以使用limit_req_zone指令来完成。

语法：

limit_req_zone $variable zone=name:size rate=rate;

示例：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        location / {
            limit_req zone=one burst=5 nodelay;
            proxy_pass http://backend;
        }
    }
}

在上面的示例中：

$binary_remote_addr：以二进制格式表示的客户端IP地址。
zone=one:10m：定义名为one的共享内存区域，大小为10MB。
rate=1r/s：限制每秒最多1个请求。

2. 应用限流策略

在定义共享内存区域后，可以在server或location上下文中使用limit_req指令来应用限流策略。

语法：

limit_req zone=name [burst=number] [nodelay];

示例：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        location / {
            limit_req zone=one burst=5 nodelay;
            proxy_pass http://backend;
        }
    }
}

在上面的示例中：

zone=one：指定使用名为one的共享内存区域。
burst=5：允许突发5个请求。
nodelay：立即处理突发请求，不进行延迟。

3. 示例配置详解

以下是一个完整的示例配置：

http {
    # 定义共享内存区域
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        listen 80;
        server_name example.com;

        location / {
            # 应用限流策略
            limit_req zone=one burst=5 nodelay;

            # 代理到后端服务器
            proxy_pass http://backend;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}

在这个示例中，Nginx会限制每个客户端每秒最多发送一个请求，并允许最多5个突发请求。

三、limit_conn模块配置

limit_conn模块用于限制每个特定键（如IP地址或用户）的并发连接数。

1. 定义共享内存区域

首先，需要定义一个共享内存区域来存储连接计数信息。可以使用limit_conn_zone指令来完成。

语法：

limit_conn_zone $variable zone=name:size;

示例：

http {
    limit_conn_zone $binary_remote_addr zone=addr:10m;

    server {
        location / {
            limit_conn addr 10;
            proxy_pass http://backend;
        }
    }
}

在上面的示例中：

$binary_remote_addr：以二进制格式表示的客户端IP地址。
zone=addr:10m：定义名为addr的共享内存区域，大小为10MB。

2. 应用限流策略

在定义共享内存区域后，可以在server或location上下文中使用limit_conn指令来应用限流策略。

语法：

limit_conn zone_name number;

示例：

http {
    limit_conn_zone $binary_remote_addr zone=addr:10m;

    server {
        location / {
            limit_conn addr 10;
            proxy_pass http://backend;
        }
    }
}

在上面的示例中：

zone_name：指定使用的共享内存区域名称。
number：允许的最大并发连接数。

3. 示例配置详解

以下是一个完整的示例配置：

http {
    # 定义共享内存区域
    limit_conn_zone $binary_remote_addr zone=addr:10m;

    server {
        listen 80;
        server_name example.com;

        location / {
            # 应用限流策略
            limit_conn addr 10;

            # 代理到后端服务器
            proxy_pass http://backend;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}

在这个示例中，Nginx会限制每个客户端最多允许10个并发连接。

四、高级限流策略

1. 多级限流

在实际应用中，可以根据不同的需求设置多级限流策略。例如，可以根据客户端IP地址限制每秒请求数，同时根据用户ID限制每分钟请求数。

示例：

http {
    limit_req_zone $binary_remote_addr zone=ip_zone:10m rate=1r/s;
    limit_req_zone $cookie_userid zone=user_zone:10m rate=30r/m;

    server {
        location / {
            limit_req zone=ip_zone burst=5 nodelay;
            limit_req zone=user_zone burst=10;

            proxy_pass http://backend;
        }
    }
}

在上面的示例中：

ip_zone：限制每个IP地址每秒最多1个请求，允许5个突发请求。
user_zone：限制每个用户每分钟最多30个请求，允许10个突发请求。

2. 动态限流

通过Lua脚本和ngx_lua模块，可以实现更复杂的动态限流策略。例如，可以根据用户的VIP等级动态调整限流阈值。

示例：

http {
    lua_shared_dict my_limit_req_store 10m;

    server {
        location / {
            access_by_lua_block {
                local limit_req = require "resty.limit.req"
                local lim, err = limit_req.new("my_limit_req_store", 200, 100)
                if not lim then
                    ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
                    return ngx.exit(500)
                end

                local key = ngx.var.binary_remote_addr
                local delay, err = lim:incoming(key, true)
                if not delay then
                    if err == "rejected" then
                        return ngx.exit(503)
                    end
                    ngx.log(ngx.ERR, "failed to limit req: ", err)
                    return ngx.exit(500)
                end

                if delay >= 0.001 then
                    ngx.sleep(delay)
                end
            }

            proxy_pass http://backend;
        }
    }
}

在上面的示例中，使用了OpenResty的resty.limit.req模块，通过Lua脚本实现了动态限流策略。

五、实际应用场景

1. 防止DDoS攻击

限流可以有效地防止DDoS攻击。通过限制每个IP地址的请求频率，可以防止恶意攻击者发送大量请求导致服务器过载。

示例：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        location / {
            limit_req zone=one burst=5 nodelay;
            proxy_pass http://backend;
        }
    }
}

2. 防止爬虫过度抓取

通过限

流，可以防止爬虫过度抓取网站内容，从而保护服务器资源。

示例：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        location / {
            limit_req zone=one burst=5 nodelay;
            proxy_pass http://backend;
        }
    }
}

3. 保护API服务

对于API服务，限流可以防止滥用，确保API的可用性和稳定性。

示例：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=10r/m;

    server {
        location /api {
            limit_req zone=one burst=20 nodelay;
            proxy_pass http://api_backend;
        }
    }
}

六、限流日志和监控

为了更好地管理和监控限流策略，可以配置Nginx的日志记录限流事件，并使用监控工具进行分析。

1. 配置日志

可以通过Nginx的日志模块记录限流事件。

示例：

http {
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" '
                      '$request_time $upstream_response_time $pipe';

    access_log /var/log/nginx/access.log main;

    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

    server {
        location / {
            limit_req zone=one burst=5 nodelay;

            error_log /var/log/nginx/error.log warn;

            proxy_pass http://backend;
        }
    }
}

2. 使用监控工具

可以使用Prometheus、Grafana等监控工具来监控Nginx的限流情况。通过配置Nginx的VTS模块，可以导出Nginx的各种统计信息，并在Grafana中进行可视化展示。

到此这篇关于Nginx 限流和流量控制的实现的文章就介绍到这了,更多相关Nginx 限流和流量控制内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

使用nginx动态转换图片大小生成缩略图
这篇文章主要介绍了使用nginx动态转换图片大小生成缩略图，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-02-02
Nginx学习之静态文件服务器配置方法
本篇文章主要介绍了Nginx学习之静态文件服务器配置方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-02-02
Nginx动态压缩gzip的实现示例
有时候适当的压缩传输的文件会对APP或网站的性能有极大的提升,本文主要介绍了Nginx动态压缩gzip的实现示例,具有一定的参考价值,感兴趣的可以了解一下
2024-08-08
Nginx设置目录的访问权限实现访问静态资源
遇到Permission denied错误,通常是Nginx用户权限不足,本文就来介绍一下Nginx设置目录的访问权限实现访问静态资源
2024-10-10
nginx实现动静分离的案例详解
nginx 和 Tomcat 是两个不同的服务器软件,在分离部署方面有着各自的优势和适用场景,一般来说,Nginx 适合作为反向代理和负载均衡服务器,用于处理静态文件和高并发请求,本文将大家介绍一下nginx实现动静分离的案例,需要的朋友可以参考下
2023-08-08
nginx proxy_cache 缓存配置详解
这篇文章主要介绍了nginx proxy_cache 缓存配置详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
详解Nginx如何根据swagger关键字屏蔽页面
这篇文章主要为大家详细介绍了Nginx 如何根据swagger关键字屏蔽页面的实现方案,文中有详细的解决方案,对我们的学习或工作有一定的帮助,需要的朋友可以参考下
2023-08-08
Nginx利用Lua+Redis实现动态封禁IP的方法
在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis对该IP进行封禁，这篇文章主要给大家介绍了关于Nginx利用Lua+Redis实现动态封禁IP的相关资料，需要的朋友可以参考下
2018-12-12
5分钟搞定Nginx安装的教程
下面小编就为大家分享一篇5分钟搞定Nginx安装的教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2017-11-11
Nginx代理Partainer的具体使用
本文主要介绍了Nginx代理Partainer的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-03-03