频域对齐代替Delta Rule：CyFA多变量时序异常检测方法解析

老实说第一次在看板上看到CyFA把GDN和KDA同时压下去的时候我第一反应是去检查随机种子是不是出了问题。因为这圈子里“GDN、KDA加Delta Rule”已经默认得像早餐豆浆配油条先用图编码器把传感器之间的依赖关系建出来再靠差分监督逼网络去记住变化最后用预测误差算异常分数。大家私下交流也都认同没有Delta Rule的GDN类模型在非平稳窗口上普遍会掉点尤其对缓慢漂移的检测会变得迟钝。CyFA偏偏把这件事反过来做了——它不是去微调Delta Rule的权重而是直接把这个插件拿掉单独靠频域对齐就拿到了更好的结果。这篇想完整记录这个方法的动机、结构、实验和踩坑给那些也想跳出“预测差分”套路、换一种表达范式的人做个参考。如果你是正在调GDN、KDA这类基线的朋友或者被Delta Rule那一堆超参数搞到头大又或者想给多变量时序异常检测引入一点频域先验但怕太复杂这篇应该都适合你。我会先讲清楚Delta Rule为什么流行再拆解CyFA怎么绕开它最后把复现时真正值得注意的细节和几个反直觉的坑都摊开说。1. 先说清楚GDN、KDA和Delta Rule这三件事是什么关系1.1 GDN与KDA是哪种基线GDNGraph Deviation Network是多变量时间序列异常检测里很典型的一类方法。它的思路可以拆成三块图学习、图注意力编码、偏差打分。图学习负责从数据里自动建立传感器之间的邻接关系图注意力编码把每个传感器当前时刻的观测和历史邻居信息融合起来偏差打分则用“预测值跟真实值之间的误差”来判断异常。它在传感器之间存在强相关性的场景下表现非常稳定所以很多新方法都以它的改进版本作为对标对象。KDA在我这边的评测里用的是一种知识蒸馏变体一个Teacher网络提供相对稳定的表示一个Student网络在线学习然后拿Teacher和Student在中间层的表示距离作为异常信号。这类方法在分布切换和突变场景里比较敏锐但对缓慢漂移往往要滞后一段时间。我之所以同时拿GDN和KDA当基线是因为它们代表两种不同的先验GDN依赖图结构先验KDA依赖表示差异先验。一个新方法想证明自己有价值最好能和这两种不同来源的先验都比一比。1.2 Delta Rule为什么会被当成“标准插件”这里说的Delta Rule并不是Widrow-Hoff那套经典学习规则而是这个领域里对“时间差分监督”的统称。GDN标准实现里只有预测误差损失训练时模型学的是“下一个时刻的值”对平稳段的拟合很好但趋势变化发生时一步预测的误差会被模型当作可学习规律消化掉一部分等异常累积到一定程度才报警。为了治这个问题不少工作会在损失函数里加一项模型除了预测x(t1)还要预测delta(t)x(t1)-x(t)或者干脆把相邻时刻的差分拼到输入特征里。这样模型被迫显式建模变化量对漂移和突变都更敏感。后续大家在KDA这类模型上也如法炮制Teacher网络的输入加入差分增强或者让Student网络去匹配Teacher的差分表示。短期指标提升非常明显所以越来越多复现配置默认就带了这个插件。久而久之一个原本是“可选优化技巧”的东西几乎被当成了模型标配。1.3 Delta Rule的隐性代价代价其实不小至少我看到的有四点多了一个超参数λ和额外的输出头而λ在不同数据集上的最优值可以差一个量级调起来非常费时间。差分对噪声是放大器。传感器带测量噪声、采样率不稳时差分头会把测量噪声当成“变化”导致误报率上升。对强周期信号一阶差分在频域上有固定的零点响应模型很容易把注意力引到周期边界而不是真正的异常段。训练成本增加约20%到30%因为要同时维护正常分支和差分分支。还有一点常被忽略差分监督只在固定采样间隔上有效。遇到时间戳不均匀的数据集简单做delta会产生严重错位模型学到的“变化量”根本不对齐。老实说Delta Rule不是不好但它被当成默认插件之后很少再有人去问“如果不做差分这些信息还能不能拿到”。CyFA就是顺着这个问题往下做的。2. CyFA的设计出发点绕开差分监督用频域循环对齐补上变化信息2.1 差分监督到底教给模型什么一个信号处理的视角从信号处理角度看差分算子本质是一个高通滤波器。它会对变化率产生响应但同时对频率有选择性一阶差分对高频放得更狠低频信号会被大幅度压缩。异常检测真正需要的是“在哪些频段出现了不应该出现的能量变化”而不是“所有高频变化都值得关注”。举一个具体的计算例子窗口长度T64、采样率1Hz时一阶差分的增益函数是2|sin(πf)|。在0.25Hz附近增益大约是1.41到了0.4Hz以上增益会超过1.9。这意味着同样是幅度为1的扰动出现在0.4Hz测量噪声里的会被差分操作放大到接近2倍模型很可能误判成异常。而在频域表示里0.01Hz的缓慢漂移、0.1Hz的过程振荡、0.4Hz的传感器干扰可以完全分开来看。Delta Rule相当于用一个很粗糙的固定高通滤波器去完成这件事简单有效但对信号类型有偏。所以我在设计CyFA的时候就想能不能把“变化模式”这件事直接放到频域去表达让模型自己学会区分不同频段的能量异常而不是反向利用一阶差分来粗暴放大高频。2.2 频域循环对齐如何补充变化信息CyFA对每个传感器窗口做实数FFT得到幅度谱和相位谱然后在表示层引入一个“循环频率对齐”机制中心节点的表示要和邻域节点的聚合谱对齐同时对随机循环移位保持鲁棒。循环移位在时域上就是平移在频域上等价于相位谱加上一个线性相位项2π·s·f/T幅度谱保持不变。模型如果在频域表示上对循环移位不敏感就学会了“波形形状”层面的规律而不是某个固定对齐位置的信息。实现上并不要求模型在时域去重建一个被移动过的窗口而是直接在频域特征上做约束无论相位怎么被平移中心节点得到的embedding都要落在邻域谱的一致区域内。这样就相当于把“变化模式”近似转成“谱形状一致性”问题不再需要显式回归delta。对齐分支用的还是图学习得到的邻接关系相当于同一张图同时在时域和频域约束表示。2.3 辅助的局部排序分类头除了频域对齐我还在整体框架里加了一个轻量的自监督辅助任务内部叫“排序头”把窗口切成四个子段记录每个子段内信号的走向上升、下降、平稳然后让一个分类头预测“哪个子段波动最剧烈”。这个任务完全不需要标签用信号本身构造伪标签。它的价值在于给embedding一个“动态定位”的约束编码器会知道异常片段通常出现在窗口的哪个阶段但又不要求网络去拟合每条样本的连续差分值。相比Delta Rule排序头输出的是离散类别天然对测量噪声有抑制作用。这个思路是从“局部排列不变性”延伸过来的——我们不需要模型对每个时刻的微小变化都精确只要它对“最可能出问题的片段”敏感就够了。实验里加上排序头后F1大约提升1.5个百分点而且比单独加一个delta head更稳定因为它的优化目标更钝、更不容易被噪声带偏。3. CyFA的完整结构拆解和训练配置3.1 编码器与图学习输入是多变量时间序列窗口X∈R^(N×T)N是传感器数T是窗口长度。预处理部分有两个细节一是逐通道做鲁棒缩放减去中位数再除以IQR而不是min-max因为min-max会被异常点本身拉伸二是每个通道分别中心化并加窗避免直流分量干扰频谱。编码器我用的是一个两层全连接网络把每个通道的窗口投影成128维的embedding。没有用LSTM、TCN这类逐点时序单元理由是后面有频域对齐来承担时序信息窗口embedding更省显存训练也更容易收敛。图学习部分和主流方法类似两个线性投影算点积得到相似度矩阵按Top-K保留邻接关系。区别在于这里的邻接矩阵不仅用于时域特征传播还用于频谱聚合相当于同一张图同时约束时域表示和频域表示。3.2 频域对齐分支的具体做法核心部分用伪代码看更直观# 输入 x: [B, N, T] x_win x * hamming_window[T] # 加窗 spec torch.fft.rfft(x_win, dim-1) # [B, N, T//21] mag torch.log1p(spec.abs()) # 幅度谱log压缩 phase torch.angle(spec) # 相位谱 # 频域聚合按图邻接A传播 mag_nei torch.einsum(bn,nm-bm, mag, A_normalized) # 循环移位鲁棒性随机采样移位量 s s torch.randint(-k, k, (B,), devicex.device) phase_shift 2 * torch.pi * s[:, None, None] * freqs / T embed_freq freq_encoder(mag) # 频域表示 loss_align F.l1_loss(embed_freq, freq_encoder(mag_nei))几个关键点幅度谱用log1p压缩不然高能量通道会主导损失移位量s每个epoch重新随机采样让模型见到的相位变化足够多样最终对齐损失是在频域表示上算L1距离而不是直接在原始谱上算这样更稳定。分离度量的时候异常分数主要来自解码器重建窗口和原始窗口之间的误差再配合一小部分频域差异。3.3 损失函数与训练细节总损失是三项相加L λ_rec × L_rec λ_align × L_align λ_order × L_order。其中L_rec是时域重建损失解码器从embedding重建窗口计算重建误差L_align是频域对齐损失L_order是排序分类头的交叉熵。λ的设置我试过很多组合最终在三个评测任务上都比较稳的是λ_rec1.0λ_align0.5λ_order0.3。为什么不把align给到很高因为给太高会把表示完全拉向频域一致性丢失每个通道自身的独立特征给太低又无法把变化模式传进来。优化器用AdamW初始学习率1e-3前10个epoch线性warmupbatch size 128最大训练200个epoch。DFT全部用实数FFTrfft不做复数卷积这样实现简单显存占用也低。4. 实测在几个多变量时序基准上和GDN、KDA的对比4.1 数据与评估设置实验用了三个内部评测任务为了便于复述我都用代号SvrPlant是水处理仿真流程152个通道约42万条记录异常类型主要是阀门卡滞、水位漂移和传感器偏置ClusterTelemetry是集群观测指标89个通道24万条记录异常包含流量突刺和周期中断RotatingCompressor是旋转压缩机振动加温度读数64通道18万条记录异常主要是轴承磨损带来的谐波变化和瞬态冲击。评估指标用F1和AUC-PR。F1的阈值在验证集上确定测试集不再调整避免阈值的后验泄漏。基线设置如下GDN按公开实现的默认配置复现GDNDR是在GDN基础上加了delta监督λ取0.5KDA用知识蒸馏结构Teacher用指数移动平均更新KDADR是给Teacher输入加差分增强。所有方法都做无监督训练不用标签。4.2 对比结果完整结果见下表方法SvrPlant F1SvrPlant AUC-PRClusterTelemetry F1ClusterTelemetry AUC-PRRotatingCompressor F1RotatingCompressor AUC-PRGDN0.8610.9340.8940.9510.8320.911GDNDR0.8870.9470.9120.9630.8460.924KDA0.8540.9300.8730.9440.8210.906KDADR0.8810.9430.8980.9580.8330.917CyFA0.9030.9560.9210.9680.8760.9434.3 结果解读与几个值得注意的现象在SvrPlant上GDNDR比GDN高2.6个点的F1KDADR比KDA高2.7个点说明差分监督在这个任务上确实有效但CyFA仍然高出GDNDR约1.6个点。这证明“拿掉差分监督”不是单纯去掉一个插件而是换了一种更完整的表征方式。ClusterTelemetry上GDNDR和CyFA结果很接近因为该数据有明确周期DR的固定差分刚好能覆盖主周期变化CyFA的优势不明显。差距最大的是RotatingCompressorCyFA比GDNDR高3.0个点、比KDADR高4.3个点。原因在于振动数据有多阶谐波Delta Rule的一阶差分会与谐波形成混叠干扰而频域谱对齐能把各个倍频分开来对待该放大的放大、该压制的压制。还有一个现象加了DR之后KDA类方法的训练损失会下降得更快但验证集上的误报率反而更容易波动。这说明差分监督带来的“快速收敛”一部分是过拟合噪声的结果而不是真正学到了更通用的变化规律。5. 复现CyFA过程中的关键参数与踩坑记录5.1 窗口长度和FFT点数的选择窗口长度建议覆盖至少2到3个主周期。如果不知道周期就先用自相关估计对每个通道算自相关取第一个明显峰值所在位置作为主周期估计再乘以2.5作为窗口长度。三个任务里SvrPlant用的是256ClusterTelemetry是128RotatingCompressor最后定了384因为它的转动周期大约120到130步太短的窗口根本装不下一个完整周期。FFT点数方面补零到256或512都可以但不是越多越好。补零只是平滑谱增加的是插值分辨率不是真实频率分辨率。我们统一用256超过窗口部分补零。Hamming窗在高频部分会衰减这是好事能降低频谱泄漏如果信号本身对起始相位敏感也可以考虑不用窗实测两种方案F1差异不到0.3个点。5.2 相位对齐的“卷绕”问题这是我在实现CyFA时踩过最大的坑写出来专门提醒一下相位的取值范围是[-π, π]在边界±π处会直接跳变。如果损失函数直接对相位差算L2范数两个几乎一样的信号可能因为一个相位角是3.10、另一个是-3.10而产生巨大的“假误差”loss会直接发散。我第一版实现就因为这个原因反复怀疑是学习率设置错了后来才发现是相位卷绕问题。解决办法是把相位表示成单位二维向量(cosθ, sinθ)距离用平均角距离的近似1 - mean(cos(Δθ))。这样即使相位跨过±π边界也不会出现“明明相位很接近却被罚得很重”的情况。如果复现CyFA时发现频域loss不降反升先检查这个位置大概率是相位距离写错了。5.3 无Delta Rule后的早停策略变化没有Delta Rule之后验证损失会呈现很长一段平台期。一开始我用验证重构误差最小作为早停标准结果模型老是停在一个还没完全收敛的点上。后来改成观察验证集重构误差的四分位距IQR如果IQR连续5个epoch的变化小于0.1%就停止训练。这时候模型的谱结构特征已经稳定再训练下去只会小幅波动。这和带Delta Rule时的体验完全不同——后者loss能快速下降但也容易快速过拟合到训练集早停时机非常敏感。如果你沿用带DR时的早停逻辑来训CyFA很容易低估它的效果以为模型还没收敛就停了。这也是为什么我一开始“不信它比GDNKDA好”的一个重要原因不是模型差是早停策略不对。6. 关于CyFA的适用范围我有几点坦白6.1 哪些场景收益最大从目前实测来看CyFA收益最明显的场景有三个共同特征周期性明确但不是严格固定比如存在转速波动或工况切换、传感器之间依赖强、异常以漂移和波形变化为主。这类任务里CyFA通常能在少调两个超参数的情况下超过GDNDR和KDADR。而且频域对齐的谱特征天然具备可解释性哪个倍频出现能量异常可以直接画出来定位到故障源这一点在工业场景里很受欢迎。6.2 哪些场景不如预期有几个场景CyFA是明显吃亏的。一是超高采样频率100Hz以上直接对全频段做FFT成本偏高一般建议降采样到10Hz左右再喂二是异常表现为极短脉冲宽度可能还不到窗口的1%时域解码器会把这种脉冲当噪声平滑掉CyFA不如专门做点突变检测的模型三是数据完全随机、既没周期也没有连续漂移比如离散事件序列用频域对齐基本没有收益。这种数据老老实实用图注意力加聚类可能是更好的选择。6.3 后续可以扩展的方向CyFA目前还有几个扩展方向我都在陆续试。一个是用可学习的频域滤波替代固定rfft把DFT换成一组带通滤波器组让网络自己决定关注哪些频段另一个是双尺度窗口设计——一个长窗口管周期模式一个短窗口管漂移和突变相当于在频域和时域上各做一次分工最后是把幅度谱对齐推广到双谱bispectrum对传感器之间的非线性交互表征会更充分代价是计算量会明显上升。调试CyFA这段时间我最大的体会是一个被社区当成默认配置的技巧不一定是因为它最优而往往只是因为它先被验证过。Delta Rule确实强但它把信号处理里的固定高通滤波逻辑硬塞进了学习系统后面很多问题其实都出在这个“固定”上。如果你正为一个新的多变量时序数据集发愁我建议可以先跑一版GDNDR做基准再上CyFA对比——很可能你会发现真正让结果变好的并不是那个额外的差分头而是更干净的谱特征。代码和处理脚本我整理好之后会放出来到时候在评论区同步给大家。