★ FEATURED ARTICLE 很多跑过自动化项目的朋友应该都有这种感受脚本写了一堆定时任务挂了一片可真正出问题的时候最先响应的往往不是你的代码而是群里别的同事喊了一嗓子。我最早做运维监控时也这样告警靠人工盯处理靠手点偶尔写了几个自动修复脚本也只敢在固定的几台机器上跑。后来我把这套逻辑重新梳理照着“读-评估-行动”的闭环思路重写了一遍核心引擎效果比想象中好很多。这篇文章想分享的就是这个REA模式的完整落地过程。它不是某个开源框架的教程而是把一个真实可用的自动化决策引擎从零拆开事件怎么接、规则怎么评、动作怎么执行、踩过哪些坑、怎么排查。适合正在被一堆定时脚本和人工告警折腾的开发者也适合想搞轻量级自动化决策系统但还没找到合适架构的朋友。我尽量把设计理由和实战细节都写清楚读完你也能照着搭一套自己的。1. 为什么“读-评估-行动”比“写死脚本”更值得投入1.1 我最初遇到的问题一堆定时任务各自为战那时候我维护的机器有几十台每台上面都挂着不同的采集脚本。有的脚本负责检查磁盘有的检查进程有的检查日志关键字。它们各自独立运行偶尔共享一个结果文件但整体没有统一的决策逻辑。这种模式的问题很明显。第一脚本之间是割裂的磁盘告警和日志异常明明可能是同一个根因但两个脚本各报各的没有联动。第二每次想调整策略比如“凌晨两点不执行重启动作”就得去改多个脚本一不小心就改漏。第三也是最难受的——脚本只能“读”和“报”真正要“做”什么判断还是得靠人来看告警信息再手动操作。后来我发现业界的告警平台、自动化运维工具大多都在往“事件驱动、策略执行”的方向走。它们核心的逻辑并不复杂收集信息、做判断、执行动作。但做成一个统一引擎之后效果却比散落的一堆脚本好太多。原因不在于算法多高深而在于把“判断”和“执行”从脚本里抽出来变成可配置、可编排、可审计的东西。1.2 REA循环的本质拆分关注点让决策可测试REA这个缩写全称是Read-Evaluate-Act也就是读取、评估、行动。它本质上是给自动化系统画了一条清晰的责任线读取层负责拿数据评估层负责做决策行动层负责执行结果。三层各干各的活互不越界。这套模式不是新东西很多复杂系统里都隐含这个循环。但真正把它显式化之后收益非常明显。首先是决策逻辑变得可测试——以前判断“磁盘使用率超过80%且持续10分钟”是写在shell脚本里的一长串if判断现在变成了一条独立的规则可以直接用假数据跑单测。其次是执行动作变得可替换——同样是“磁盘使用率过高”这个触发条件测试环境可能只发一条通知生产环境却要做日志转储加服务重启动作层解耦之后规则不用改执行器可以按环境配置。一句话总结REA的价值不是发明了什么新机制而是把“判断”这项本来散落在各处、难以维护的工作集中成了一个可管理、可观察、可演进的核心模块。这个思想贯穿了整个引擎的设计后面每一章都是围绕它展开的。2. 引擎骨架从事件输入到动作输出的数据流2.1 读统一事件与状态摄入层REA的第一层是“读”。在实际系统里“读”不只是拉取监控数据那么简单它要解决的是数据来源五花八门的问题。我这边遇到的来源就有好几种文件系统的指标、进程状态、日志文件里新增的行、外部API返回的JSON、消息队列里推送的事件。如果每种来源都各自对接评估层就会变得非常混乱。我的做法是做一个统一的摄入接口。所有来源都实现同一个抽象定期或实时地产生一条“结构化事件”事件统一用一种数据格式来描述包含时间戳、来源标识、事件类型、附带属性key-value字典。这样下游评估层不用关心数据是从哪来的只需要和标准事件打交道。这个设计有个很关键的细节事件不能只在内存里流转必须落盘。我见过不少系统事件在内存里判断完就丢了结果排查问题时连依据都找不到。我在摄入层加了事件日志每条原始事件都写一份到本地队列再交给评估器。这样既实现了读写分离也为后续回放和排查留了后路。2.2 评估规则匹配与上下文构建评估层是REA的核心它接收标准事件然后根据规则集来判断“这个事件该不该触发动作、触发哪些动作”。我最初的实现很简单每个规则是一个函数事件进来后挨个调用一遍。但规则一多就发现了问题——规则之间可能有依赖A规则的结果会影响B规则的判断。比如“磁盘使用率超过80%”是一条基础规则“磁盘使用率超过80%且持续10分钟”是另一条升级规则后者的判断需要用到前者的历史结果。所以我把评估层做成了两个子模块状态维护器和规则匹配器。状态维护器负责记录每个被监控对象的实时状态包括最近一次事件的时间、关键指标的历史窗口、上次触发动作的时间等。规则匹配器则纯粹做判断它只从状态维护器里读数据不直接碰原始事件流。这样做的好处是规则匹配器可以保持无状态方便大规模并发而状态维护器负责管理时序逻辑避免每个规则都去重复计算历史窗口。这里还想强调一点评估层一定要支持规则优先级。真正跑起来你会发现某些事件同时命中多条规则时执行顺序错了会造成混乱。比如“服务已宕机”和“服务已宕机且连续失败三次”同时命中必须先执行基础通知再执行升级动作。我后来把规则定义里加了一个priority字段评估完成后统一按优先级排序再做动作编排这个就没再出过问题。2.3 行动动作编排与执行器行动层拿到的是评估结果——一组待执行的动作指令。每个动作指令包含动作类型、目标对象、附带参数。我最初把执行器做成一个大函数里面用if-else分支处理“发通知”、“重启服务”、“调API”等逻辑。后来动作种类多了果断重构成插件式。每个执行器实现一个统一接口execute(actionRequest)内部自管逻辑。这样新增一种动作方式只需要新增一个执行器类不需要改动上层编排逻辑。执行器之外我还加了一层动作编排。编排层负责决定多个动作之间的执行顺序和依赖关系。比如“先发通知再尝试重启”和“先尝试重启再发通知”在某些场景下差别很大。我在编排层支持两种模式并行执行和串行执行并且在串行模式下可以配置失败后是否继续。编排层本身不带业务含义它只看动作定义里的dependencies字段。如果一个动作依赖另一个动作成功它就在前面等。这个模式让我后续扩展新动作时几乎不用碰编排代码。3. 规则评估器的设计取舍DSL还是代码配置3.1 我踩过的坑规则数量多了以后维护失控这个坑印象太深了。一开始规则少我直接在代码里写判断逻辑每个规则一个函数条件写死在代码里。规则十几个的时候还行但过了三十个之后问题开始密集暴露。最大的问题是改动成本。每次调整阈值或触发条件都要改代码、重新构建、重新发布。规则多的时候不同团队提的需求又不一样一个人改代码其他人可能还不知道。有一次某团队把日志关键字匹配的大小写逻辑改反了等告警开始误报才发现回滚了半天。另一个问题是规则之间的逻辑重复。很多规则都用到“最近5分钟累计次数超过阈值”这种公共判断我把这段逻辑复制到多个规则里后来改了一个地方忘了改另一个结果两条规则的行为不一致排查的时候差点怀疑人生。那段经历让我下定决心规则必须配置化不能写死在代码里。配置化之后通常的“改一个阈值”就不再需要发布流程了直接改配置热加载效率高了一个量级。3.2 DSL设计细节条件表达式、优先级、并行与降级配置化不等于简单地把代码里的if判断换成JSON。规则一复杂JSON会变得又臭又长而且没有语法校验很容易写出格式正确但逻辑错误的条件。所以我很早就采用了一个轻量DSL方案。DSL整体结构分四块触发条件、评估窗口、优先级、动作列表。触发条件我设计成一种表达式语法支持比较运算符、逻辑与或、括号嵌套同时提供了几个内置函数比如count_recent(metric, window)、change_rate(metric, window)等。这样一条“最近5分钟cpu使用率平均值大于85%”的规则就写成when: avg(cpu_usage, 5m) 85评估窗口用来限制规则对事件流的观察范围避免每次判断都从全量历史里扫描。窗口由DSL参数指定引擎内部会用滑窗数据结构来维护确保内存可控。优先级在上一章提过具体实现是给规则加一个整数级别。我约定数字越小优先级越高评估完成后按这个值排序再交给动作编排层。降级策略是后来补的它的作用是定义规则在自身出问题时的默认行为。比如规则依赖的外部数据拉取失败时应该默认不触发还是默认触发并告警不同场景不一样。我在规则定义里加了fallback字段三个可选值skip、trigger、alert_only。这样既灵活又不会因为某个规则自身的异常导致整个评估流程卡住。3.3 性能与安全的平衡并发评估与超时控制规则评估器在事件量大的时候性能问题会很明显。我碰到过每分钟上万条事件的场景如果每条事件都顺序跑一遍所有规则CPU消耗非常可观。我的优化思路是分组并发。规则定义里可以指定一个group字段引擎会按规则组并行评估。同一个组内的规则共享一份状态快照避免并发读写冲突不同组之间互不干扰。这样做以后评估吞吐量提升了好几倍而且逻辑上没有受影响。不过并发也带来了新问题规则之间可能通过共享状态产生竞态条件。我的解决办法是状态维护器加锁但不是全局锁而是按被监控对象加细分锁。只有同一对象的规则才需要竞争同一把锁不同对象之间完全并行。超时控制也花了些功夫。为了防止某条规则因为数据查询太慢拖垮整个评估流程我给每条规则设置了超时时间默认500毫秒。超时后规则标记为超时失败走降级策略不再阻塞后续规则。这个机制就像给每个规则装了熔断器单个规则的异常不会蔓延到整个引擎。4. 执行器与审计动作跑得快更要跑得稳4.1 动作抽象命令、通知、HTTP回调三种基础执行器行动层最常见的三种动作我最初就是为它们做了三个执行器后来发现这个组合基本覆盖了90%以上的场景。命令执行器负责在目标机器上执行Shell命令或脚本。它处理的核心问题不是“怎么执行”而是“执行完怎么确认结果”。我加了退出码检查、输出捕获和超时强制终止。一个容易踩的坑是命令执行超时后子进程可能还在后台运行导致后续操作和它冲突。所以我用进程组的方式启动命令超时后整组杀掉确保不留残留进程。通知执行器负责发消息支持邮件、即时通讯webhook等渠道。它内部维护了发送队列和失败重试机制。重试策略默认是退避重试最多三次避免消息风暴。HTTP回调执行器负责调用外部API。它支持签名、自定义Header和超时设置。回调执行器我特别重视响应体校验很多API返回200但业务上是失败的如果只看状态码不校验body动作执行等于空转。我在执行器里允许配置一个success_when表达式用简单的JSON Path表达式判断响应是否符合预期。4.2 幂等与去重重复事件导致重复动作怎么办自动化系统里最怕的一件事就是重复执行。事件可能因为网络原因被重复投递或者规则评估重试时被再次触发如果执行器不做幂等处理原本只需要一次的重启操作可能连着重启三次业务影响不敢想。我的方案是两层防护。第一层在评估层规则触发动作前会检查动作抑制窗口。我配置了同一个对象、同一种动作类型在特定时间窗口内最多执行一次。比如“重启服务”动作的抑制窗口设为10分钟那么10分钟内即使事件反复触发也只会执行一次重启。第二层在执行器层每个动作指令会生成一个execution_id执行器在执行前先检查这个ID是否处理过。处理过的直接返回已执行结果不再真实执行。这个检查需要一个小的存储我用的是本地的KV存储不需要额外引入消息队列等组件。这两层都做之后重复执行的问题基本就绝迹了。后来我又发现一个细节抑制窗口不能只按动作类型设有些动作必须按对象粒度判断。比如两台不同机器的重启动作互不相关不能因为A机器重启了就抑制B机器的重启。所以抑制窗口的判定键是“对象唯一标识 动作类型”这个一定要记住。4.3 审计追踪与回滚出问题之后怎么还原现场自动化系统最受质疑的一点就是你自动做了操作万一做错了怎么办这时候没有审计追踪复盘会非常困难。我建了一个专门的审计库记录每一次动作执行的完整信息触发该动作的原始事件、命中的规则、规则的参数快照、执行器类型、执行参数、执行结果、返回数据、耗时、执行时间。这些信息一条条记下来事后想查任何一次动作都能按时间、对象、规则维度检索到。审计表的字段设计可以参考这个简表字段说明示例event_id触发动作的原始事件IDevt_8f21a3rule_name命中的规则名disk_high_usagepriority规则优先级1action_type动作类型command / notify / httpaction_params动作参数快照{cmd: restart.sh}execution_id动作执行唯一IDexec_3c92b8result_code执行结果码0 / 1 / 2duration_ms执行耗时1284回滚是另一个话题。不是所有动作都可以回滚比如“发通知”没法撤回“删文件”更不可能恢复。我的建议是在动作定义里显式声明is_rollbackable字段只有声明了可回滚的动作才会生成对应的回滚指令。回滚动作本身也是一个普通动作走同样的执行器只不过方向是反的。这样设计虽然简单但实际效果很好——它让“能回滚的动作”和“不能回滚的动作”边界变得清晰不会出现误认为所有操作都能撤销的错觉。5. 实测效果与排障记录5.1 一个真实场景告警收敛与自动处置引擎搭好之后我挑了一个最烦人的场景来做实测线上机器的磁盘使用率告警。之前的情况是磁盘使用率超过80%监控平台每5分钟发一次告警一个晚上能收到几十条值班的人一边被轰炸一边手动去清理日志。现在我用REA模式重写规则分三层第一层磁盘使用率超过80%且持续10分钟触发通知动作把消息发到值班群。这个阶段不自动处理只提醒。第二层磁盘使用率超过85%且持续20分钟触发自动清理动作。清理执行器会先找出该机器上最老的日志文件进行压缩压缩成功后删除源文件。这个动作幂等抑制窗口是30分钟。第三层磁盘使用率超过90%且持续30分钟触发升级告警加紧急清理动作。紧急清理除了压缩日志还会尝试清理临时文件目录并调用HTTP回调通知相关团队负责人。实测一周后告警数量肉眼可见地降了下来。以前一个晚上几十条现在大多数场景在第一层或第二层就被消化掉了。而且因为抑制窗口存在动作不会反复执行自动清理跑过一次之后至少30分钟内不会再对同一台机器做重复清理。这个案例说明了一个很重要的点REA模式的收益不只是自动化而是让告警从“每次都打扰人”变成“有等级、有节奏、有自动缓解手段”的闭环。人只需要在真正关键的第三层介入。5.2 一次规则不生效的完整排查链路再分享一次排查经历。某天规则引擎上线后有一条“进程崩溃自动拉起”的规则一直没生效但手动模拟事件明明是能触发的。这个坑很有代表性。我的排查思路是从事件源头开始链路式检查。第一步确认事件是否到达引擎。在摄入层查事件日志结果说明事件根本没有进来——原因是采集端脚本某天升级后把事件映射为了新的source字段值而我配置的规则事件过滤器还停留在旧值上。这就是典型的“数据变了规则没跟上”。第二步修正事件源后重新投递了一条模拟事件这次事件日志有了但评估器没有输出动作指令。排查发现是规则表达式写错了我用的是change_rate(cpu_usage, 5m)但这个指标只在部分机器上有事件属性里根本不存在cpu_usage字段表达式评估返回了空值规则匹配器把它当成false处理。第三步修正表达式后评估器输出了动作指令但执行器没有动静。查执行器日志发现是权限问题——命令执行器用的用户对目标服务没有重启权限进程启动命令直接失败。这是执行器和环境脱节的问题。三步下来问题定位得很清楚事件源变更、规则表达式缺陷、执行环境权限三个不同层面的坑全在“链路检查”的方式下暴露无遗。这也印证了前面强调的“事件日志、决策快照、执行审计必须都有”的价值——没有这些记录排查只能靠猜有了它们每一个“为什么不生效”都能拆成具体环节来验证。6. 给后来者的几条实在建议6.1 控制范围先做一个能跑的MVP再考虑完整能力REA引擎听起来不复杂但真正实现起来涉及的模块不少事件摄入、状态维护、规则评估、并发调度、动作执行、审计存储。如果一开始就想着全部做完再上线大概率会陷入长期“开发中”的状态。我的建议是先做一个最小闭环支持一种事件来源十条以内的规则三种基础动作。跑通之后再逐步扩展。这个MVP即使功能简单也能立刻验证REA模式在真实场景里的效果比如告警收敛是否明显、自动动作是否可靠。拿到了真实数据后续扩展方向和优先级才会清晰。6.2 规则的可观测性比规则本身更重要规则引擎最让人头疼的不是写规则而是规则出问题时你根本不知道它是怎么出问题的。我后来给每条规则加了一个快照机制每次评估完成把规则名、输入上下文、命中结果、耗时时长记录成一条日志。这个快照看起来微不足道却是排查所有规则问题的敲门砖。如果你在设计规则引擎我强烈建议从一开始就做好三件事原始事件落盘、决策快照留痕、执行结果审计。这三样齐了系统再复杂也不怕少了任何一样出了线上问题就只能靠“猜”和“误打误撞”。6.3 后续可以这样扩展再往后走REA引擎的扩展方向有很多。比如把规则评估改成实时流计算用流处理框架来承载可以支持更复杂的时间窗口和聚合逻辑也可以把决策结果接入工单系统让自动动作和人工程单互相配合还可以考虑把规则收敛成更上层的策略配置让非开发人员也能通过界面调整告警策略。我个人更看好的方向是回放测试把历史上真实发生的事件流保存下来新规则上线前直接用历史事件回放一遍看看它会触发哪些动作和预期是否一致。这个能力能大幅降低规则变更的回归风险也是引擎成熟之后最值得投入的一块。REA模式走到这里环环相扣从读取到评估再到行动思路已经完整了。下一步就是找一个你最头疼的场景按这个思路试着落地。最小闭环跑通之后你会对自动化决策这件事有完全不一样的感觉。
阅读完成 · 觉得有帮助？
