★ FEATURED ARTICLE 1. 项目背景与核心问题拆解1.1 闪烁去除到底在解决什么问题视频拍摄中有一类非常恼人的画面瑕疵画面亮度或颜色出现周期性跳动肉眼看着像灯在闪录下来回放更明显。这种现象在室内人工光源环境下尤其常见因为很多照明设备并不是持续稳定发光而是以一定频率在亮灭之间切换。人眼由于视觉暂留效应对这种高频切换不敏感但摄像机的曝光机制是逐帧采样一旦采样节奏和光源闪烁节奏对不上就会在相邻帧之间产生亮度差回放时表现为规律性的明暗波动。这类问题在专业领域被称为闪烁伪影英文对应 flicker artifact。它和运动模糊、噪点、压缩块效应并列为视频质量修复的四大常见顽疾。闪烁去除的目标就是从一段已经拍坏的视频里把这种周期性亮度波动估计出来并抵消掉让画面恢复成看起来像在稳定光源下拍摄的效果。1.2 为什么这个问题比想象中难很多人第一反应是亮度跳变嘛做个时域平滑不就行了。实际做过的人都知道简单平滑会带来两个致命副作用。第一运动信息被抹掉。画面里如果有物体在移动时域平滑会把运动边缘拖成鬼影看起来像画面在融化。第二周期性波动被当成正常亮度变化。如果场景本身有渐变比如云层飘过、灯光缓慢调暗平滑算法分不清哪些是闪烁、哪些是真实光照变化结果把该保留的也压掉了。更麻烦的是闪烁往往不是单一频率的正弦波。实际光源可能包含多个谐波分量再加上相机自动曝光、卷帘快门等因素闪烁信号会变得相当复杂。这就决定了闪烁去除不能只靠一个维度做文章必须同时从周期性和方向性两个角度切入。1.3 标题里“二重奏”的含义标题用了“It Takes Two”这个说法直译是“需要两个人配合”引申为“这件事得靠两个要素协同才能成”。在闪烁去除这个任务里这两个要素就是周期性和方向性。周期性指的是闪烁信号在时间轴上呈现的规律重复特征。方向性指的是闪烁在空间维度上表现出的传播或分布方向特征。单独用周期性去建模容易在复杂运动场景下失效单独用方向性去约束又无法准确刻画闪烁的时间演化规律。把两者结合起来就像二重奏一样一个负责时间维度的节奏一个负责空间维度的走向互相补充、互相校验才能把闪烁信号从真实场景内容里干净地分离出来。这个思路的价值在于它把闪烁去除从“单一维度滤波”升级成了“时空联合建模”对运动场景、多光源场景、非正弦闪烁场景的鲁棒性都有明显提升。2. 核心思路与技术方案选型2.1 整体框架设计逻辑整个方案可以拆成三个层次来理解。第一层是闪烁信号估计从视频序列中提取出候选的周期性成分。第二层是方向性约束利用闪烁在空间上的分布规律对估计结果进行修正和筛选。第三层是重建与融合把估计出的闪烁信号从原始帧中减去同时保留真实场景的亮度变化和运动细节。这个三层结构的好处是职责清晰。估计层负责“找出来”约束层负责“筛干净”重建层负责“去得准”。每一层都可以独立调参和替换方便针对不同场景做适配。2.2 为什么选择频域加空域联合分析纯时域方法比如帧间差分、滑动平均计算量小但对非平稳闪烁和运动场景几乎无能为力。纯频域方法比如对每个像素做FFT找峰值能捕捉周期性但忽略了空间结构容易把纹理丰富区域的正常亮度波动误判为闪烁。频域加空域联合分析的做法是先在时域上对每个空间位置做频谱分析找出可能的闪烁频率候选然后在空间域上检查这些候选频率对应的幅度分布是否具有方向性一致性。如果某个频率的闪烁在空间上呈现出一致的传播方向或分布模式就认为它是真实闪烁如果分布杂乱无章就判定为噪声或场景内容。这个选型的核心考量是利用闪烁的物理成因。人工光源的闪烁通常来自交流电供电频率及其谐波在空间上往往表现为全局性或区域性的同步波动而不是随机分布。方向性约束正是抓住了这个物理先验。2.3 关键参数与计算过程假设视频帧率为 ( f_s ) 帧每秒光源闪烁基频为 ( f_l ) 赫兹。根据采样定理要准确捕捉闪烁信号需要满足 ( f_s 2 f_l )。实际中常见的光源闪烁基频是供电频率的两倍因为交流电每个周期有两次过零亮度随之波动两次所以如果供电频率是50Hz闪烁基频就是100Hz。但大多数相机帧率只有30fps或60fps远低于200Hz的采样要求这就产生了欠采样问题。欠采样并不意味着无法处理。闪烁信号在欠采样后会混叠到低频区域表现为一个可观测的低频周期性波动。我们需要做的是估计这个混叠后的频率而不是原始高频。具体计算时可以先对时域信号做自相关分析找到自相关函数的峰值位置从而推算出混叠频率。方向性约束的计算则涉及空间梯度分析。对每一帧计算水平方向和垂直方向的亮度梯度然后统计闪烁候选区域内的梯度方向直方图。如果直方图呈现明显的单峰或双峰分布说明该区域有主导方向符合闪烁的空间传播特征。3. 实操流程与核心环节实现3.1 数据准备与预处理拿到一段待处理视频后第一步不是直接上算法而是做基础检查。我一般会先抽几帧出来看直方图确认闪烁是全局性的还是局部性的。全局性闪烁通常来自单一主光源处理起来相对简单局部性闪烁可能涉及多个光源或反射面需要分区处理。预处理阶段要做三件事。第一是去噪因为高频噪声会干扰周期性估计可以用轻量的时域或空域降噪但注意不要过度平滑否则会把闪烁信号也削弱。第二是色彩空间转换把RGB转到亮度-色度分离的空间比如YCbCr或Lab因为闪烁主要体现在亮度通道色度通道相对稳定分开处理能减少计算量。第三是帧对齐如果视频有抖动需要先做稳像否则空间方向性分析会被运动干扰。注意预处理阶段不要做锐化或对比度增强这些操作会改变闪烁信号的幅度特征给后续估计带来偏差。3.2 周期性估计的具体步骤周期性估计我习惯用自相关加频谱细化两步走。先对亮度通道的每个像素位置提取时间序列计算自相关函数。自相关的好处是对相位不敏感只关注重复模式适合闪烁这种周期性信号。import numpy as np def autocorr_analysis(signal, max_lag30): signal signal - np.mean(signal) ac np.correlate(signal, signal, modefull) ac ac[ac.size // 2:] ac ac / ac[0] # 找第一个显著峰值 peaks [] for i in range(2, min(max_lag, len(ac)-1)): if ac[i] ac[i-1] and ac[i] ac[i1] and ac[i] 0.2: peaks.append((i, ac[i])) return peaks这段代码返回的是候选周期以帧为单位及其置信度。实际中我会对全图所有像素的候选周期做投票选出出现频率最高的几个周期作为主候选。接下来做频谱细化。对时间序列做FFT在候选周期对应的频率附近做插值得到更精确的频率估计。这一步的目的是避免帧率量化误差导致周期估计偏移。3.3 方向性约束的实现细节方向性约束的核心是构造一个空间一致性度量。我的做法是对每个候选闪烁频率生成一个对应的时域滤波响应图然后在这个响应图上计算结构张量。结构张量的两个特征值可以告诉我们该区域的亮度变化是否有主导方向。如果两个特征值都很大且接近说明是角点或纹理复杂区域方向性不明显如果一大一小说明有明确的方向性如果都很小说明是平坦区域方向性也无从谈起。对于闪烁区域我们期望看到的是中等强度且方向一致的结构张量响应。太强可能是真实边缘太弱可能是噪声。这个阈值需要根据视频内容自适应调整我一般用全图结构张量响应的中位数作为基准取1.5到2.5倍中位数作为闪烁区域的筛选范围。3.4 闪烁信号重建与去除估计出闪烁频率和空间分布后重建环节要做的是构造一个与闪烁信号相位相反、幅度相同的补偿信号然后叠加到原始帧上。具体操作是对每个像素根据估计出的频率和相位生成一个正弦或余弦序列幅度取该像素处估计出的闪烁强度。然后用原始时间序列减去这个补偿序列。def remove_flicker(video_frames, freq, phase_map, amp_map): T len(video_frames) t np.arange(T) compensated [] for i, frame in enumerate(video_frames): flicker amp_map * np.sin(2 * np.pi * freq * t[i] phase_map) compensated.append(frame - flicker) return compensated这里的关键是相位图和幅度图的估计精度。相位估计偏差哪怕只有几度在多个周期累积后也会导致补偿信号和真实闪烁错位反而引入新的伪影。我的经验是相位估计要做全局优化不能逐像素独立估计否则空间上会出现相位跳变。实操心得重建后一定要做一轮时域一致性检查。具体做法是计算补偿后视频的帧间差分方差如果方差比补偿前还大说明补偿方向反了或者相位估计错了需要回退重调。4. 常见问题与排查技巧实录4.1 闪烁去除后画面变暗或变亮这是最常见的问题根源通常是直流分量估计错误。闪烁信号在频域上除了交流分量还可能有一个缓慢变化的直流偏移。如果只去除了交流分量而忽略了直流偏移画面整体亮度就会漂移。排查方法是对补偿前后的视频分别计算全图平均亮度的时间序列看是否存在单调趋势。如果有说明直流分量没处理好。解决办法是在去除交流闪烁的同时对亮度时间序列做去趋势处理或者把直流分量也纳入估计模型。4.2 运动区域出现鬼影或拖尾这说明周期性估计把运动信号误判成了闪烁。运动物体在时域上也会产生周期性变化比如旋转的扇叶如果频率恰好和闪烁频率接近就容易混淆。区分方法是看空间一致性。真实闪烁在空间上通常是全局同步的而运动引起的周期性变化只局限在运动物体所在区域。利用这个差异可以在方向性约束阶段加入空间范围检查如果某个候选频率只在局部小区域出现就降低其置信度。4.3 多光源场景下效果不佳多个光源如果闪烁频率不同会出现拍频现象时域波形变得复杂。单一频率模型无法处理这种情况。我的做法是改用多分量模型允许估计多个频率及其对应的空间分布图。实现上可以先做频谱峰值检测找出前三个最强峰值然后分别做方向性约束和重建。最后把所有分量的补偿信号叠加。问题现象可能原因排查方法解决思路画面整体亮度漂移直流分量未处理检查平均亮度时间序列加入去趋势或直流估计运动区域鬼影运动误判为闪烁检查空间一致性加入空间范围约束多光源效果差单频率模型不足检查频谱峰值数量改用多分量模型补偿后伪影加重相位估计错误检查帧间差分方差全局相位优化平坦区域出现波纹过补偿检查幅度图加入幅度下限阈值4.4 计算效率优化全图逐像素做自相关和FFT计算量很大。实际部署时我会做两个优化。第一是空间降采样先把视频降到较低分辨率做闪烁参数估计然后把参数上采样回原分辨率做补偿。闪烁是低频全局现象降采样不会丢失关键信息。第二是时间分块把长视频切成若干段分别处理段间做重叠平滑避免边界效应。注意降采样倍数不要超过4倍否则空间方向性分析会失真。时间分块的长度建议至少包含5个完整闪烁周期否则频率估计不准。5. 效果评估与参数调优经验5.1 客观指标与主观评价结合评估闪烁去除效果我一般用三个客观指标加一个主观指标。客观指标包括帧间亮度差分的方差越小越好、闪烁频率处的频谱能量越小越好、补偿前后结构相似性越高越好。主观指标就是人眼观看回放看是否还有可感知的亮度跳动。这三个客观指标各有侧重。帧间差分方差反映整体时域稳定性频谱能量反映特定频率的残留结构相似性反映画面内容是否被破坏。实际调参时我会先看频谱能量因为它最直接对应闪烁去除效果然后再看结构相似性确保没有过度处理。5.2 关键参数的敏感度分析幅度阈值是最敏感的参数。设得太低会把噪声也当成闪烁去除导致画面发灰设得太高闪烁去除不干净。我的经验值是取全图闪烁幅度估计的70百分位数作为阈值这样能覆盖大部分闪烁区域同时排除掉幅度异常的离群点。相位平滑窗口是第二敏感的参数。窗口太小相位图会有噪声窗口太大相位空间变化会被抹平。一般取空间尺寸的1/20到1/10作为窗口大小比较合适。频率分辨率取决于视频长度。如果视频只有几十帧频率分辨率很低估计误差会比较大。这种情况下我会建议用户提供更长片段或者接受一定程度的残留闪烁。5.3 不同场景的调参策略室内固定机位场景是最容易处理的闪烁通常是全局单频率参数可以设得比较激进幅度阈值可以低一些相位平滑窗口可以大一些。手持移动场景需要更保守的参数因为运动干扰更强。幅度阈值要提高方向性约束要更严格避免把运动误判为闪烁。多光源场景需要开启多分量模式同时要控制分量数量一般不超过3个否则容易过拟合。6. 扩展思路与后续优化方向这套周期性加方向性的框架还有不少可以延展的地方。一个方向是自适应频率跟踪因为实际光源频率可能随时间缓慢漂移固定频率模型在长视频上会逐渐失配。可以引入卡尔曼滤波或粒子滤波做频率跟踪让模型跟上频率变化。另一个方向是结合深度学习。传统方法在参数调优上比较依赖经验如果能用神经网络学习从视频到闪烁参数的映射可以降低使用门槛。但要注意深度学习模型需要大量配对数据而真实闪烁视频和干净视频的配对获取成本很高可能需要用合成数据做预训练再微调。还有一个实用方向是实时化。目前这套流程在高端GPU上可以做到接近实时但在移动端还有差距。优化思路包括用查表法替代实时FFT、用整数运算替代浮点运算、以及把空间方向性分析简化成几个固定方向的投影。我个人在实际操作中的体会是闪烁去除这件事没有一劳永逸的参数每换一个拍摄设备、每换一个拍摄环境都需要重新校准一轮。把校准流程标准化、自动化比追求一个万能参数更有实际价值。另外前期拍摄时如果能手动锁定曝光和白平衡后期处理会轻松很多这比任何算法都管用。
阅读完成 · 觉得有帮助？
