先交代一个我反复遇到的现实问题线上某个下游服务一到整点任务调度或者大促流量进来数据库连接池直接被拖垮而调用方还在不断重试最终雪崩。后来在网关层加了限流才把“上游洪水”挡在系统之外。Apache ShenYu 作为一款高性能微服务网关内置的 RateLimiter 限流插件可以直接把限流规则下发到网关并借助 Redis 做分布式令牌桶计算实现跨节点统一的流量控制。这篇文章我会从头梳理这套方案的实施步骤包括插件原理、环境准备、Admin 面板配置、压测验证以及上线后最容易踩的几个坑。如果你正在做微服务网关改造、接口防刷、第三方回调限流或者只是想把网关层的限流能力补上这篇文章可以直接照着操作。我会尽量把每一步都写清楚包括那些文档里不会告诉你的细节。1. 场景与价值ShenYu 网关限流为什么必须依赖 Redis1.1 限流写在网关层才能挡住第一波冲击很多人会问限流直接在业务代码里写不行吗当然可以但效果差很多。业务代码中的限流是“分布式系统的各个应用节点各自为战”比如你有 6 个实例每个实例每秒限制 100 次调用看起来总量是 600但线上流量永远不可能均匀打到每个实例上。某个实例可能扛了 200另一个只扛了 30整体数据根本不可控。而且业务代码限流往往只能保护自己这个服务保护不了下游。网关层限流的优势在于它是所有流量的必经之地。请求进入系统后第一站就是网关它可以在转发之前直接把超标的请求丢弃或排队。这样不仅保护了下游服务还保护了服务之间的调用链路。Apache ShenYu 的定位就是这个流量入口RateLimiter 插件挂在网关的插件链上对经过的 HTTP 请求做前置过滤。1.2 限流状态为什么需要放在 Redis问题来了网关是多个节点同时部署的A 节点限流了B 节点没限流用户换个 IP 或者负载均衡把请求打到 B限流就变成了摆设。要让限流规则在集群环境下统一生效必须有一个所有网关节点都能访问的共享存储记录当前时间段内已经放行了多少请求。Redis 在这里承担的就是这个共享状态存储的角色。它有几个天然优势读写性能高单机 QPS 可以到十万级网关拦截请求本质上是高频读写的场景Lua 脚本原子性执行令牌桶的扣减、补充、比较可以在一个脚本里完成不会出现并发扣减超卖自带过期时间令牌桶的 key 可以设置 TTL流量低谷时自动释放内存。与之对比如果把限流状态存在本地内存确实是快但节点之间完全没关联如果用 MySQL 存储性能撑不住。所以 Redis 在分布式限流里几乎是标准答案。我整理了一个简单的对比表方便你理解为什么这个技术选型是合理的实现方式跨节点统一性能原子性运维成本本地内存Guava RateLimiter否极高单机内保证低MySQL 计数是低靠事务代价高中Redis Lua是极高脚本原子执行低中间件限流Sentinel 等是高依赖控制台偏高这里并不是说其他方案完全不能用而是对于 ShenYu 网关场景Redis 是性价比最高、接入成本最低的方案。2. 原理拆解令牌桶计算在 ShenYu 中是如何用 Lua 脚本落地的2.1 令牌桶算法先看图说话RateLimiter 插件默认支持的核心算法是令牌桶Token Bucket。我用最生活化的方式给你解释一下这个模型。想象一个桶桶里最多放 N 个令牌。每来一个请求必须从桶里拿一个令牌拿得到就放行拿不到就拒绝。桶里的令牌不是静止的会以一个固定的速率持续补充比如每秒补 10 个。桶有容量上限令牌满了就不再增加。这样处理的效果是短时间内可以接受突发流量因为桶里能存一些令牌但长期来看平均速率被死死压住。这个“突发”能力就由桶容量决定。举一个实际场景。你给某个接口设置限流参数速率是 10容量是 20。也就是说正常情况下每秒能放行 10 个请求但是桶里最多可以积攒 20 个令牌所以当流量突然增加到每秒 30 个时系统能利用桶里积攒的令牌“扛”一会儿不会立刻把所有请求拒之门外。当然如果持续超限令牌耗尽后续请求就只能收到 429 响应。2.2 Lua 脚本才是限流的真正心脏ShenYu 的 RateLimiter 插件在处理每个请求时会调用 Redis 执行一段 Lua 脚本脚本承担了令牌桶的全部计算逻辑。为什么这里必须用 Lua核心原因是原子性。如果先用 GET 取出当前令牌数在 Java 代码里做完加减法再写回 Redis在高并发下必然出现交错覆盖的问题。而 Lua 脚本是由 Redis 服务端一次性执行完的期间不会插入其他命令所以不存在并发竞争。ShenYu 底层的令牌桶 Lua 脚本逻辑大概长这个样子-- KEYS[1]令牌数 key -- KEYS[2]上次刷新时间 key -- ARGV[1]补充速率 rate每秒补充的令牌数 -- ARGV[2]桶容量 capacity -- ARGV[3]当前时间戳 -- ARGV[4]本次请求需要的令牌数通常为 1 local tokens_key KEYS[1] local timestamp_key KEYS[2] local rate tonumber(ARGV[1]) local capacity tonumber(ARGV[2]) local now tonumber(ARGV[3]) local requested tonumber(ARGV[4]) -- 桶的填充时间TTL 按两倍填充时间设置避免 key 堆积 local fill_time capacity / rate local ttl math.floor(fill_time * 2) -- 读取当前令牌数和最后刷新时间 local last_tokens tonumber(redis.call(get, tokens_key)) if last_tokens nil then last_tokens capacity end local last_refreshed tonumber(redis.call(get, timestamp_key)) if last_refreshed nil then last_refreshed now end -- 计算距上次刷新经过的时间里应该补充多少令牌 local delta math.max(0, now - last_refreshed) local filled_tokens math.min(capacity, last_tokens (delta * rate)) -- 判断是否放行 local allowed filled_tokens requested local new_tokens filled_tokens local allowed_num 0 if allowed then new_tokens filled_tokens - requested allowed_num 1 end -- 写回 Redis并设置过期时间 redis.call(setex, tokens_key, ttl, new_tokens) redis.call(setex, timestamp_key, ttl, now) return { allowed_num, new_tokens }这段脚本每次执行都会有两个输出第一个数字表示是否放行1 放行 / 0 拒绝第二个数字是当前剩余的令牌数。ShenYu 的插件拿到结果后如果发现结果是 0就直接返回 429不再走后续的转发逻辑。这里有一个容易被忽略的细节Redis 脚本里不直接使用本地时间而是传入 ARGV[3] 的当前时间戳。为什么要这样设计因为如果脚本内部调用 Redis 的时间函数每台 Redis 服务器的时间可能存在毫秒级偏差多个网关节点对同一 Redis 实例执行脚本时时间基准不一致会导致放行数量出现误差。由网关层统一传入时间戳所有节点都基于同一个时间轴限流判断才准确。2.3 参数之间的换算关系在 Admin 面板配置规则时RateLimiter 插件需要你填两个关键参数容量capacity和速率rate。很多第一次用的人会问这两个值到底应该填多少我的建议是先明确你的业务峰值和接口处理能力速率rate等于你希望接口长期承受的每秒请求数。假设下游服务通过压测能稳定处理 200 QPS那你就可以把 rate 设为 180留出 10% 的余量。容量capacity等于允许的突发流量上限。如果 rate 是 180capacity 设为 300意味着短期可以接受 300 QPS 的突发但连续几个突发之后令牌耗尽系统会迅速拉回到 180 QPS。两个参数最直观的关系是capacity / rate 就是“把桶填满需要多少秒”。比如 capacity300rate180填满需要约 1.67 秒。也就是说只要接口空闲 1.67 秒以上桶就又是满的下一次突发的尖峰又会被允许进来。在业务上线初期我通常会把 capacity 设置成 rate 的 1.5 到 2 倍这样既保留了突发能力又不会让限流形同虚设。等到系统运行稳定再根据监控数据把容量慢慢降到 1.2 倍左右。3. 基础环境先把 Redis 和 ShenYu 网关跑起来3.1 Redis 安装的几种路径选择限流的正确性完全依赖 Redis所以第一步是把 Redis 环境准备好。这里根据你的开发环境提供三种选择第一种本机直接装。Windows 用户可以下载 Redis 的 Windows 移植版或者使用 WSL 里运行 Linux 版本macOS 用户直接用 Homebrewbrew install redis brew services start redisLinux 用户可以用 apt 或 yum也可以直接源码编译。安装完成后用redis-cli ping验证返回 PONG 就说明正常。第二种用 Docker 快速跑一个。这个方法最省事尤其适合只想先验证功能的场景docker run -d \ --name shenyu-redis \ -p 6379:6379 \ -e TZAsia/Shanghai \ redis:7.2 \ redis-server --appendonly yes这里我特意加了--appendonly yes开启 AOF 持久化。限流的 key 虽然大部分可以允许丢失重建但如果你用了并发限流这种强状态模式Redis 重启导致状态丢失可能瞬时放大量请求进来。所以生产环境一定要开持久化。第三种公司内部一般会用云厂商的 Redis 实例或者自建主从集群。如果你打算用主从架构架构选型上优先用 Redis 哨兵或者 Redis Cluster。ShenYu 网关侧接 Redis 时为了高可用建议在网关前放一个统一的 Redis 入口不要让网关直接去感知后端主从切换的细节。3.2 ShenYu 网关启动的两种方式ShenYu 有两种部署方式一种是 Admin 和网关拆开跑一种是用单体 jar 包同时拉起两个进程。生产环境推荐拆开但做功能验证时单体 jar 更方便。启动 Admin 前记得先确认 MySQL 已经建好ShenYu Admin 的元数据、插件配置、规则信息都存在 MySQL 里。首次启动时Admin 会自动建表然后在application.yml里配置好数据源spring: datasource: url: jdbc:mysql://127.0.0.1:3306/shenyu?useUnicodetruecharacterEncodingutf-8 username: root password: your_password启动 Admin 后浏览器访问http://127.0.0.1:9095默认账号admin密码123456登录后可以看到整个管理界面。再启动网关Bootstrap默认监听9195端口。网关启动后正常情况下 Admin 界面上的“集群管理”能看到网关实例已经注册上来Admin 和网关之间通过 WebSocket 协议同步数据。这一步很多人会忽略一个关键细节如果 Admin 和网关之间数据没有同步成功你在 Admin 上配置的限流规则永远不会到网关侧插件配置得再漂亮也是白搭。所以启动完务必先去“集群管理”页面确认节点在线。3.3 启动前需要检查的配置项在启动 ShenYu 网关之前有几个配置我建议你提前过一遍网关的 Server 端口默认 9195确认没有被其他程序占用Admin 和网关的数据库连接配置两边必须指向同一个库如果使用admin和bootstrap分离部署确认application.yml里的shenyu.sync.websocket.url指向正确的 Admin 地址全局时区建议在启动参数里统一加-Duser.timezoneAsia/Shanghai否则限流时间戳和日志时间会出现错位排查问题时特别难受。检查完毕启动之后你会发现 ShenYu 的插件列表里已经有 rateLimiter 这个插件但初始状态是关闭的。接下来我们开始进入真正的配置环节。4. 配置实操RateLimiter 插件启用与限流规则下发4.1 在 Admin 中启用 RateLimiter 插件并配置 Redis登录 Admin 控制台在左侧菜单找到“基础配置”下的“插件管理”在插件列表里定位到rateLimiter。这里你会看到插件的状态开关先点击“编辑”进入配置页把 Redis 连接信息填进去。配置项通常包括这几个字段配置项示例值说明Redis 地址127.0.0.1:6379默认 Redis 端口Redis 密码空没有密码就不填Redis 数据库索引0建议单独使用一个 db避免与其他业务 key 混用超时时间3000连接 Redis 的超时毫秒数这里必须提醒一句不要把限流用的 Redis 和业务缓存的数据放在同一个 db 里。我见过有人在 db0 上混着业务数据一起用结果 Debug 时用flushdb把整个库清掉了限流 key 没影响但业务缓存全没了。如果条件允许单独给限流逻辑开一个 db 实例。配置完成后点击保存插件状态切换为启用。此时 RateLimiter 插件已经激活但还没有任何限流规则此时它不会拦截任何请求。4.2 创建选择器限流的流量范围选择器决定了“哪些请求会被这个插件的规则处理”。点击 rateLimiter 插件名称进入详情页在最上方选择“选择器”然后新建一个选择器。新建选择器时你需要设置选择器名称、类型和匹配条件。匹配条件的逻辑和主流网关一致可以按以下维度匹配路径URI比如/order/**匹配所有订单接口Header比如tokenpromotion匹配带特定 Header 的请求IP 地址比如把某个来源 IP 段加入限流范围Query按请求参数匹配。我的习惯是先建一个全量匹配的选择器把所有流量先纳进来然后在规则层通过不同规则区分接口。比如选择器名称order-all 匹配方式URI 前缀匹配 匹配路径/order/** 类型自定义保存后这个选择器就意味着所有路径以/order/开头的请求都会进入限流判断流程。选择器本身不直接限流它还只是“入口”。4.3 创建规则真正下限额的地方在选择器详情页下面切换到“规则”页签点击新增规则。规则的核心参数才是限流真正生效的关键。ShenYu 在这个版本中主要提供两个算法选项tokenBucket令牌桶我们先前提到的算法适合大多数场景允许突发流量concurrent并发限流限制在某一瞬间同时处理的请求数适合保护连接数有限的资源。如果选 tokenBucket你需要设置容量和速率。我建议先按接口近期波峰值的 1.5 倍设定速率再按速率值的 1.2 到 1.5 倍设定容量。比如规则名称order-token-bucket算法tokenBucket速率20容量30这表示长期限流 20 QPS突发允许 30 QPS。这个数是一个起步值上线前一定要压测根据真实结果回推参数。保存规则时需要再次确认规则的匹配条件。如果规则里不写条件表示对所有进入选择器的请求生效如果你只想对其中某个子路径生效可以再加一层条件过滤。选择器和规则其实是两级匹配选择器先粗筛规则再细筛这跟 ShenYu 的插件处理链设计是一致的。4.4 配置后的数据同步链路Admin 保存配置后会通过 WebSocket 即时把最新的插件配置、选择器、规则数据推送到所有在线的网关节点。网关内部再交给 RateLimiter 插件加载。所以你会发现只要管理端保存成功网关侧几乎不需要重启限流规则就生效了。但你要是想确认同步是否成功可以看网关的日志。正常情况你会在网关日志里看到类似 “[rateLimiter] 规则加载完成” 的提示不同版本的日志格式有差异但核心信息都会有。这里特别提醒一下ShenYu 的插件配置、选择器、规则数据都持久化在 MySQL 中Redis 里只保存瞬时的限流状态比如当前剩余令牌数和时间戳。Redis 的数据是可以随时丢的丢了之后限流会重新从桶满状态开始MySQL 里的规则是根本。理解这一点你就能明白为什么 Redis 宕机不会丢规则但会让限流短暂失效。5. 验证与压测从 Redis 数据变化确认限流生效5.1 先用 curl 确认基本链路配置完成后不要急着上压测工具先用简单的 curl 请求验证链路是否通了。curl -X GET http://127.0.0.1:9195/order/query?orderId1001如果配置正确且速率设得较高这个请求会正常返回下游响应。然后我们就把速率暂时降到极低的程度比如速率 1、容量 1也就是一秒只能放行一个请求。这时候连续快速发起 5 次请求观察响应码for i in {1..5}; do curl -s -o /dev/null -w 第 $i 次请求%{http_code}\n \ http://127.0.0.1:9195/order/query?orderId1001 done正常应该是前 1 到 2 次返回 200后面的请求返回 429同时响应体里会有类似too many requests的提示。这一步能非常直观地确认限流是否生效。5.2 用压测工具模拟并发curl 只能验证单链路真正的限流效果必须用并发工具压。我常用的是 Apache Bench简单直接ab -n 200 -c 20 http://127.0.0.1:9195/order/query?orderId1001这条命令表示总共发出 200 个请求并发 20 个线程。压测结束后重点看非 200 状态码的占比。如果速率设为 20、容量为 30压测结果中 200 的数量应该在 30 到 50 之间其余请求都应该被限流拦截。这里要强调压测数值会和理论值略有偏差原因是网关本身是多线程处理多个线程同时去 Redis 取令牌时虽然 Lua 脚本保证原子性但请求到达 Redis 的时序有先后所以放行数会在容量附近波动。这不是 Bug而是分布式系统的正常现象。如果你用的是 JMeter可以加一个“聚合报告”监听器直接看异常请求占比效果一样。5.3 从 Redis 侧观察限流 key 的变化验证过程中我还建议同时打开 Redis 客户端工具观察 key 的变化。连接 Redis 后执行redis-cli KEYS *token*或者用通配符扫描包含限流前缀的 key。ShenYu 的限流逻辑会针对每个选择器、每个规则分别生成独立的 key所以你在 Redis 里会看到一串与规则对应的 key名字中通常包含规则 ID 或自定义的规则名称。观察两个点第一次请求后key 是否存在压测过程中key 的过期时间是否在刷新剩余令牌数是否在变化。当压测结束后等一个 TTL 周期你会发现这些 key 会自动消失。这里你可能会问为什么 TTL 过了 Redis 里就找不到这个 key 了因为 ShenYu 在 Lua 脚本里为每个 key 设置了过期时间流量停了之后旧的 key 到期删除下一个请求进来时会重新创建。这样可以有效防止 Redis 里堆积大量无效的限流 key。5.4 从网关日志验证拦截行为ShenYu 网关默认的访问日志也会记录被限流的请求。在网关的日志中你可以搜索429或者rate limit之类的关键词确认拦截行为发生的时间点、来源 IP、请求路径。这一步对上线后的审计很有帮助能帮你回答“这个请求为什么被拦了”这类问题。6. 上线后常见的坑插件不生效、Redis 故障与参数调优6.1 限流插件不生效先查同步链路这是被问得最多的问题。配置明明保存了请求也走网关但限流跟没开一样。我的排查顺序是看插件是否真的启用了。Admin 界面上 rateLimiter 的状态必须是“已开启”。看选择器条件是否匹配当前请求。比如你在选择器里写了URI/order/**但请求路径是/api/order自然不匹配。看规则里面参数是否有效。容量和速率如果配错比如速率设成 0会导致所有请求都被拦或者速配得特别大限流失效。看 Admin 和网关的数据同步是否正常。到“集群管理”页看网关节点是否在线如果节点掉线规则不会下发。第 4 步最容易忽略。很多人改了规则之后以为马上生效实际上如果 WebSocket 连接断了Admin 的更新根本不会推送到网关。强行判断的方法是改完配置后去网关节点用管理员接口查一下当前加载的插件列表如果 rateLimiter 的相关规则数据还是旧的那就基本确定是同步链路断了重启网关或者检查网络是唯一的出路。6.2 Redis 连接异常导致网关大面积 500ShenYu 的限流插件在每次请求时都会访问 Redis如果 Redis 连接不可用插件执行会异常。这里有个非常关键的设计决策插件异常后是放行还是拦截默认情况下ShenYu 的逻辑是插件异常视为请求失败返回 500。这个选择从保护下游的角度看是合理的但生产环境一旦 Redis 抖动用户会看到大量 500。我建议在网关上线前做好 Redis 高可用。最简单的方式是用 Redis 哨兵模式或者直接用云厂商的 Redis 集群确保限流依赖的基础组件足够稳定。另外网关侧的连接超时时间不要设太长我一般控制在 200 到 500 毫秒。限流本身就应该是低延迟的如果每次取令牌要等 1 秒网关转发性能会大打折扣。6.3 突发流量直接击穿限流防线还有一类情况是限流明明配了但突发流量一来下游还是被打垮了。这类问题往往出在参数设置上。令牌桶天然允许一定程度的突发也就是 capacity 大于 rate。如果你的 capacity 设置成 rate 的 5 倍以上突发时放行的峰值可能完全超出下游承受范围。优化思路有两个一是降低 capacity 倍数把突发能力收紧二是改用concurrent并发限流它关注的是同时处理的请求数对连接数敏感的业务更友好。你可以同时配置多条规则比如一条令牌桶限 QPS一条并发限流限活跃连接数两条规则叠加生效。6.4 Redis key 的 TTL 与内存淘汰策略如果你用 Redis 来存储限流 key要注意内存淘汰策略。默认情况下 Redis 如果内存满了会按 noeviction 策略拒绝后续写入这时限流脚本执行会直接报错。所以建议将 maxmemory-policy 设为 allkeys-lru 或 volatile-lru保证 Redis 本身不会成为系统的瓶颈。另一方面限流 key 的 TTL 是动态计算的。它的 TTL 等于桶填满时间的两倍。正常情况下流量进来key 一直存在流量停了之后key 会自动消亡。如果你的 Redis 里积累了大量的限流 key 不消失说明速率和容量设置有问题桶填满时间被拉得很长比如 rate1、capacity10000那 key 会存在 10000 秒。这种情况应该避免它既浪费内存又说明参数不够合理。6.5 压测通过不代表上线无忧最后想分享一个真实经验。我曾经在一个项目里把限流参数压测到理想状态才上线结果第二天流量高峰时出现了大量误拦用户反馈频繁 429。排查下来发现压测时走的是网关直连下游的链路响应时间只有几十毫秒而线上接口因为依赖第三方服务响应时间达到了几百毫秒。这导致同一个 bucket 里的令牌被占用的时间更长有效的每秒处理能力大幅下降。所以限流参数的设定不能只看网关侧的 QPS还要考虑下游接口的 RT。一个更稳妥的做法是在网关下游增加一层业务侧的并发控制让限流参数有冗余空间。上线后要持续观察 Redis 中的令牌桶变化趋势如果发现令牌长期处于低位说明速率设置偏紧适当上调 10% 到 20% 再观察。
阅读完成 · 觉得有帮助?