★ FEATURED ARTICLE 简介本资源面向图像处理方向的本科生、研究生及算法入门者提供可见光与红外光图像融合的完整MATLAB实现方案可用于课程设计、毕业设计或相关课题的算法验证。资源包共17个文件包含8个bmp图像样本、7个m脚本文件、1份docx课设报告及1个md说明文档压缩包约9.1MB脚本覆盖小波变换与拉普拉斯金字塔两条融合主线图像样本便于直接运行对比。项目围绕多尺度分解展开实现小波变换与拉普拉斯金字塔的分解重构并比较Daubechies、Haar、Symlets等不同小波基对融合效果的影响同时从峰值信噪比等指标分析两种方法在图像质量与计算效率上的差异。读者可据此获得可复现的融合流程、多组实验对比结果与课设报告参考快速理解红外热辐射信息与可见光纹理细节的互补机制。目前已有148人学习适合希望掌握多尺度融合基础并动手实践的学习者。1. 可见光与红外光图像融合为什么你的检测模型在夜间总差一口气白天跑得好好的目标检测模型一到夜间或者雾霾天就频繁漏检这种翻车现场做视觉的同行大多经历过。问题往往不在模型本身而在输入源——可见光相机在低照度下几乎拿不到纹理红外相机却能稳定捕捉热辐射轮廓但红外图像缺少颜色和细节。matlab 可见光与红外光图像融合要解决的就是这件事把同一场景的两路图像合成一张既保留可见光的纹理和色彩又叠加红外的热目标信息让后续检测、跟踪、监控算法在恶劣条件下也能稳住。这套方案适合做安防监控、电力巡检、自动驾驶感知、无人机夜航的工程师也适合正在做 matlab 图像处理大作业的学生。它不需要深度学习训练就能跑出可用结果核心是变换域分解加融合规则设计matlab 的图像处理工具箱和 wavedec2、dwt2 这些函数足够撑起整条链路。下面从原理选型一路讲到参数调优和踩坑记录照着复现能直接出图。2. 融合之前先想清楚像素级、特征级还是决策级2.1 三个融合层级到底差在哪图像融合按信息处理的阶段分三层。像素级融合在原始数据层面直接合成保留信息最完整也是 matlab 里最容易复现的一类缺点是计算量大、对配准误差敏感。特征级融合先各自提取边缘、纹理、热斑等特征再合并抗噪性好但需要额外的特征提取器。决策级融合在检测或分类结果层面做投票或加权灵活性最高但丢失的底层信息最多。做可见光与红外融合绝大多数场景选像素级。原因很直接红外和可见光的互补性体现在像素亮度分布上红外亮的地方是热源可见光亮的地方是反射光这种互补只有在像素层面才能被完整利用。特征级和决策级更适合多传感器差异极大、无法逐像素对齐的情况比如雷达和视觉的融合。2.2 变换域方法为什么比直接加权更靠谱最简单的融合是加权平均F w1*A w2*B。这个方法一行代码就能写但结果通常发灰、对比度低因为两幅图的低频能量被平均掉了高频细节也被削弱。实际项目中我一般不会用纯加权除非只是做快速验证。主流做法是变换域融合流程分三步分解、融合、重构。分解把图像拆成低频近似分量和高频细节分量低频承载整体亮度和热分布高频承载边缘和纹理。融合规则针对不同分量分别设计低频用加权或取大高频用绝对值取大或区域能量取大。重构把处理后的系数逆变换回空间域。这样做的核心优势是不同频段的信息可以独立决策不会互相污染。常见的变换有离散小波变换DWT、非下采样轮廓波变换NSCT、拉普拉斯金字塔。matlab 里 DWT 最成熟wavedec2和waverec2直接可用NSCT 需要第三方工具箱。对大多数工程需求DWT 加合适的融合规则已经能拿到不错的视觉效果和客观指标。2.3 用 matlab 跑通 DWT 融合的最小闭环先准备两幅已配准的图像尺寸一致、灰度或彩色均可。下面是最小可运行代码% 读取可见光和红外图像统一转为灰度做融合 vis imread(visible.png); ir imread(infrared.png); if size(vis,3) 3 vis_gray rgb2gray(vis); else vis_gray vis; end if size(ir,3) 3 ir_gray rgb2gray(ir); else ir_gray ir; end % 尺寸对齐取最小公共尺寸 [H, W] size(vis_gray); [H2, W2] size(ir_gray); H min(H, H2); W min(W, W2); vis_gray im2double(vis_gray(1:H, 1:W)); ir_gray im2double(ir_gray(1:H, 1:W)); % 小波分解选用 sym4 小波分解 3 层 wname sym4; level 3; [C_vis, S_vis] wavedec2(vis_gray, level, wname); [C_ir, S_ir] wavedec2(ir_gray, level, wname); % 低频系数加权融合高频系数绝对值取大 alpha 0.6; % 可见光低频权重 C_fused zeros(size(C_vis)); % 低频部分前 S(1,1)*S(1,2) 个系数 lf_size S_vis(1,1) * S_vis(1,2); C_fused(1:lf_size) alpha * C_vis(1:lf_size) (1-alpha) * C_ir(1:lf_size); % 高频部分逐系数比较绝对值 for i lf_size1 : length(C_vis) if abs(C_vis(i)) abs(C_ir(i)) C_fused(i) C_vis(i); else C_fused(i) C_ir(i); end end % 逆变换重构 fused waverec2(C_fused, S_vis, wname); fused mat2gray(fused); imshow(fused); imwrite(fused, fused_result.png);逻辑说明wavedec2返回的系数向量C是按层排列的第一段是低频近似系数后面依次是各层的高频水平、垂直、对角细节。S是尺寸矩阵第一行给出低频块的行列数所以lf_size就是低频系数的个数。低频用加权是因为它决定整体亮度和热分布纯取大会让红外热斑过曝高频用绝对值取大是因为细节系数有正有负比较绝对值才能保留最强的边缘。参数说明wname选sym4或db4都行前者对称性更好重构时相位失真小。level一般取 3 到 4层数越多低频越粗、高频越细但超过 4 层后细节提升不明显计算量反而上去。alpha控制可见光低频占比0.5 到 0.7 之间比较稳偏 0.5 时红外热目标更突出偏 0.7 时可见光背景更自然。3. 融合规则才是决定成败的地方3.1 低频系数加权、取大还是区域能量低频融合规则直接决定融合图的整体观感。加权平均最稳但容易让热目标变淡取大能突出红外热斑但可见光区域的亮度会被压制出现块状伪影区域能量法先算局部窗口的能量再决定权重平滑度最好代价是要多一层循环。我一般先用加权跑一版看整体如果热目标不够突出再切区域能量。区域能量的实现思路是对低频系数做滑动窗口窗口内计算方差方差大的区域说明该处信息丰富给对应图像更高权重。matlab 里可以用colfilt或手动nlfilter但低频系数是一维向量需要先reshape回二维矩阵再处理。% 把低频系数还原成二维矩阵 lf_vis reshape(C_vis(1:lf_size), S_vis(1,1), S_vis(1,2)); lf_ir reshape(C_ir(1:lf_size), S_ir(1,1), S_ir(1,2)); % 用 3x3 窗口计算局部方差 win 3; var_vis stdfilt(lf_vis, ones(win)); var_ir stdfilt(lf_ir, ones(win)); % 按方差比例分配权重 w_vis var_vis ./ (var_vis var_ir eps); w_ir 1 - w_vis; lf_fused w_vis .* lf_vis w_ir .* lf_ir; % 重新拉平放回系数向量 C_fused(1:lf_size) lf_fused(:);stdfilt算的是局部标准差比方差更稳定eps防止除零。窗口大小 3 是常用值5 会让权重过渡更平滑但热斑边缘会糊。这段代码替换掉前面加权那两行即可其余不变。3.2 高频系数绝对值取大的三个变体高频决定边缘和纹理最常用的是绝对值取大。但它有个明显问题对噪声敏感红外图里的随机噪点如果绝对值大就会被选进来融合图出现椒盐状斑点。三个改进方向一是阈值取大设一个阈值 T只有绝对值超过 T 的系数才参与取大否则取两图平均。T 一般取高频系数标准差的 0.5 到 1 倍。二是区域能量取大和低频类似用局部窗口的能量代替单点绝对值。三是基于匹配度的规则先算两图对应系数的匹配度匹配度高就加权匹配度低才取大这样在边缘一致的区域更平滑。% 高频阈值取大 hf_start lf_size 1; hf_vis C_vis(hf_start:end); hf_ir C_ir(hf_start:end); T 0.8 * std([hf_vis; hf_ir]); % 阈值取联合标准差的 0.8 倍 C_fused(hf_start:end) arrayfun((a,b) ... (abs(a) T || abs(b) T) * (abs(a) abs(b)) * a ... (abs(a) T || abs(b) T) * (abs(a) abs(b)) * b ... (abs(a) T abs(b) T) * (ab)/2, ... hf_vis, hf_ir);arrayfun逐元素处理逻辑是只要有一个超过阈值就取绝对值大的两个都没超过就平均。阈值系数 0.8 是经验值噪声重就调到 1.2细节少就降到 0.5。3.3 彩色可见光怎么处理如果可见光是彩色的不能直接转灰度融合否则丢颜色。常见做法是把可见光转到 YCbCr 空间Y 通道和红外做融合Cb、Cr 通道直接保留可见光的最后转回 RGB。这样融合图既有红外的热信息又有可见光的色彩。ycbcr rgb2ycbcr(vis); Y ycbcr(:,:,1); Cb ycbcr(:,:,2); Cr ycbcr(:,:,3); % Y 通道与红外灰度融合复用前面的 DWT 流程 Y_fused dwt_fuse(im2double(Y), ir_gray, sym4, 3, 0.6); % 合并通道转回 RGB ycbcr_fused cat(3, mat2gray(Y_fused), Cb, Cr); rgb_fused ycbcr2rgb(ycbcr_fused); imshow(rgb_fused);dwt_fuse是把前面的分解融合重构封装成的函数。注意 Y 通道融合后要mat2gray归一化到 [0,1]否则ycbcr2rgb会报越界。Cb、Cr 保持原样不动颜色就不会偏。4. 避坑与排查融合图发灰、有伪影、指标上不去怎么办4.1 融合图整体发灰、对比度低现象融合结果像蒙了一层雾热目标和背景分不开。原因通常是低频加权太平均或者分解层数太少导致低频占比过大。解决把alpha往 0.5 以下调让红外低频占主导或者增加分解层数到 4让更多能量落到高频再不行就在重构后加一步直方图均衡或 CLAHE。fused adapthisteq(fused, ClipLimit, 0.02, NumTiles, [8 8]);ClipLimit控制对比度增强上限0.01 到 0.03 之间太大噪声会被放大。4.2 图像边缘出现块状伪影现象融合图在物体边缘有方格状或锯齿状痕迹。原因一般是两幅图没有严格配准或者小波基的对称性差导致重构相位偏移。解决先做配准matlab 里可以用imregister做仿射配准小波基换成sym4或bior3.5这类对称或双正交小波如果伪影在特定层出现检查该层的高频融合规则是不是取大太激进改成阈值取大。4.3 客观指标 EN、MI 上不去现象主观看着还行但熵EN、互信息MI算出来比参考文献低。原因可能是融合规则太保守信息没充分保留也可能是评价代码的归一化方式和别人不一致。解决先确认指标计算代码是否统一用mat2gray归一化到 [0,1]然后尝试高频改用区域能量取大低频改用区域方差加权如果还是低检查输入图像是否已经做过增强增强过的图熵本身就偏高对比不公平。4.4 运行速度慢到无法接受现象一帧 1024x1024 的图跑了几十秒。原因通常是高频逐系数循环用了formatlab 里逐元素循环极慢。解决把循环改成向量化操作用逻辑索引一次性完成。% 向量化替代逐系数循环 idx abs(hf_vis) abs(hf_ir); C_fused(hf_start:end) hf_vis .* idx hf_ir .* (~idx);这一行比for循环快几十倍。如果还慢考虑用gpuArray把系数搬到 GPU 上算但要注意小波变换本身不支持 GPU只能加速融合规则部分。4.5 红外热目标在融合图里反而不明显现象融合后热源区域被可见光的亮背景淹没。原因低频加权里可见光权重太高或者可见光本身在热源位置也很亮。解决低频改用取大而不是加权让红外的高亮热斑直接胜出或者先对红外做一次顶帽变换突出热目标再参与融合。se strel(disk, 15); ir_enhanced imtophat(ir_gray, se); ir_enhanced im2double(mat2gray(ir_enhanced));disk半径根据热目标尺寸调目标大就加大到 20 到 30。5. 从能跑到好用指标验证与参数搜索的实战习惯融合跑通只是起点真正交付前得回答两个问题融合图到底比原图好多少参数怎么选才不是拍脑袋。我一般会固定一套评价流程先算客观指标再做主观对比最后用小规模参数搜索定权重。客观指标常用四个熵EN衡量信息量越大越好互信息MI衡量从源图继承了多少信息边缘强度QAB/F衡量边缘保留程度视觉保真度VIFF综合结构和对比度。matlab 没有内置这些需要自己写或找开源实现。下面是一个熵的计算其他指标思路类似function e entropy_fusion(img) img mat2gray(img); p imhist(img) / numel(img); p(p 0) []; e -sum(p .* log2(p)); endimhist默认 256 个 bin对融合图够用。算 MI 需要联合直方图用histcounts2更灵活。参数搜索不用网格暴力扫太耗时。我的习惯是固定分解层数和小波基只搜低频权重alpha和高频阈值系数T各取 5 个值做 25 组算 EN 和 MI 的加权和选最高的那组。25 组在普通笔记本上几分钟能跑完。如果时间紧就固定T0.8只搜alpha5 组就够。参数常用范围偏大效果偏小效果alpha0.4~0.7可见光背景自然热目标淡热目标突出背景偏暗level3~4细节多计算慢细节少块状伪影T 系数0.5~1.2抗噪好边缘弱边缘强噪点多窗口 win3~5权重平滑边缘糊边缘锐权重跳变最后说个习惯每次改完参数别只看融合图把可见光、红外、融合图三张并排subplot出来对比重点看热目标边缘和纹理密集区。我早期图省事只看融合图结果交付后客户指出热目标位置偏了半个像素回头查才发现是配准没做白跑两天。融合这活儿输入对齐永远排在算法前面。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
