★ FEATURED ARTICLE 做图像调优的人多半被问过这个问题ISP 前处理和后处理到底怎么分有人说是去马赛克之前和之后有人说是 RAW 域和 YUV 域还有人干脆按“修数据”和“调味道”来切。这个问题看着像概念辨析实际上它直接决定了你调参的顺序、降噪放在哪一级、噪声模型怎么建甚至决定了硬件模块该切给 Sensor 端的片上 ISP 还是主控侧的后处理单元。我做过几年画质调优见过太多项目因为前后处理边界没理清前处理的黑电平没扣干净后处理把锐化和饱和度拉到爆最后画面又脏又假回头一看是链路位置放错了。ISP 前处理指的是图像信号从 Sensor 输出之后、进入颜色重建和显示映射之前这一段的校正类处理核心任务是把模拟世界带进来的“脏数据”洗干净、拉回线性可计算的物理量ISP 后处理则是图像完成颜色重建之后面向人眼观感和编码需求的增强类处理核心任务是把“正确的图”变成“好看的图”。这篇文章会把这条链路从头到尾拆一遍讲清楚每个模块为什么放在那个位置、放错了会出什么问题附上可以直接抄的参数和代码片段。不管你是刚接触画质调优的新人还是已经能独立跑通一条 pipeline 的老手都能从里面找到能直接用的东西。1. ISP 流水线的整体认知与前后处理边界先把整条链路铺开看。光线穿过镜头、滤光片打到 Sensor 的像素阵列上光子转电子、电子转电压、电压经模拟增益和 ADC 变成数字码值这时候出来的是 Bayer 格式的 RAW 数据每个像素只有 R、G、B 中的一个分量。这份 RAW 数据就是 ISP 的输入原料后面所有事情都是在这份原料上做文章。从 RAW 到最终能给人看的 YUV 或 RGB中间要经过十几级处理这十几级怎么切分成前段和后段就是本文要讨论的核心。1.1 从光子到像素一条完整链路的真实模样我习惯把整条链路画成四段光学段、感光段、校正段、呈现段。光学段是镜头和红外截止滤光片负责把场景成像到 Sensor 面上感光段是像素阵列、模拟增益、ADC负责把光强转成数字码值校正段就是狭义的前处理包含黑电平校正、坏点修复、镜头阴影校正、Bayer 域降噪、白平衡增益、颜色校正矩阵呈现段就是狭义的后处理包含去马赛克之后的伽马、色调映射、色彩增强、锐化、局部对比度、缩放裁剪。这里有个容易被忽略的点去马赛克本身不算前处理也不算后处理它是分界线。去马赛克之前数据是每个像素单色的 CFA 排列处理手段必须考虑通道交错的空间关系去马赛克之后每个像素有了完整的 RGB 三元组处理手段就变成了常规的图像处理。这条线一划两边的算法工具箱完全不同所以很多团队干脆把去马赛克叫“中处理”前后各管一摊。实际项目里链路顺序大致是这样的RAW 输入 → 黑电平校正 → 静态坏点校正 → 镜头阴影校正 → 动态坏点校正 → Bayer 域降噪 → 白平衡增益 → 去马赛克 → 颜色校正矩阵 → 伽马 → 色彩增强 → 亮度锐化 → 色度降噪 → 缩放输出。这个顺序不是随便排的每一步的位置都有物理依据后面几节会逐个解释。1.2 三种划分口径位置、数据域、职责我问过不少同行“你怎么分前后处理”答案基本落在三种口径上每种都有道理但混着用就会吵架。第一种是按位置分Sensor 输出到去马赛克之前叫前处理去马赛克之后到输出叫后处理。这种分法最直观工程上也好落地硬件模块的边界基本就是这么切的。第二种是按数据域分线性 RAW 域叫前处理非线性 RGB/YUV 域叫后处理。这种分法的依据是数学性质线性域里叠加、缩放、矩阵乘法都成立非线性域里这些运算的物理意义就变了。第三种是按职责分把数据修正确叫前处理把图像调好看叫后处理。这种分法最贴近调优的实际感受但边界最模糊因为“正确”和“好看”之间有一大片灰色地带比如饱和度增强到底算不算修正。划分口径分界线优点容易踩的坑按位置去马赛克硬件边界清晰模块归属明确忽略了数据域差异容易在线性域做非线性操作按数据域伽马前后数学性质一致算法选择有依据伽马位置各家有差异跨方案对比会错位按职责校正与增强贴近调优直觉便于分工边界模糊降噪、锐化这类模块归属争议大我个人的用法是对外沟通按位置说对内调参按数据域想。跟硬件同事对齐模块归属时用第一种自己坐下来调参数时用第二种。这样既不吵架也不出错。1.3 为什么这条边界值得较真边界不清的代价是很具体的。最典型的是降噪把降噪放在去马赛克之后你会看到画面里那些彩色的斑点因为去马赛克把单通道噪声插值成了三通道噪声原本亮度上的随机起伏变成了色度上的红斑绿斑这时候再做降噪就得同时处理亮度噪声和色度噪声滤波器的设计难度翻倍还容易把细节一起抹掉。反过来在 Bayer 域做降噪噪声还是单通道的随机起伏用方向性滤波就能压得很干净代价是计算量集中在前段。第二个代价是噪声模型失效。线性域里噪声标准差和信号强度基本是线性关系你可以用一个简单的斜率参数描述整个动态范围的噪声特性一旦过了伽马信号被非线性拉伸暗部噪声被显著放大同一个噪声模型在整个码值范围内就不再适用。这时候降噪强度如果还按线性域的思路给暗部会糊成一片亮部又压不住。第三个代价是调参顺序混乱。我见过有人先调锐化再调黑电平结果黑电平一动整张图的对比度基准变了锐化的过冲阈值全部失效前面调的几百个参数白干。正确的顺序必须是前处理全部锁定之后再动后处理因为后处理的输入分布依赖于前处理的输出。提示接手一个陌生项目第一件事是把链路顺序打印出来贴在显示器边上每调一个模块就在上面标一下。链路顺序错了后面所有努力都是负收益。2. 前处理把模拟世界的脏数据洗成可用素材前处理这一段的核心目标只有一个把 Sensor 吐出来的数字码值还原成和场景辐亮度成线性比例关系的物理量。听起来简单做起来要跟一堆非理想因素搏斗——暗电流、像素响应不一致、镜头渐晕、颜色串扰、随机噪声每一个都得单独对付。这一段做得好不好决定了后面所有处理的天花板。2.1 黑电平校正与坏点修复先擦干净桌子黑电平是 Sensor 在完全无光条件下输出的码值来源是像素的暗电流和读出电路的偏置。它的存在意味着“0”这个码值并不对应“0 光强”。如果不扣掉整张图会蒙上一层灰暗部细节全被压在这层灰里。更麻烦的是黑电平会随模拟增益和温度漂移高增益下可能从 64 LSB 涨到 200 LSB 以上。扣黑电平必须放在数字增益之前。原因很简单数字增益是一个乘法操作黑电平是加性偏置先乘后减和先减后乘的结果差了一个增益倍数。假设黑电平 64数字增益 4 倍先乘再减会得到 (x·4 - 64)而正确结果应该是 (x - 64)·4。前者在暗部会残留 3 倍的黑电平残余画面发灰暗部细节全丢。实际工程里黑电平不是简单减一个常数而是按增益档位和温度分档查表。我通常用 OB光学黑区的平均值作为当前帧的黑电平估计再和标定表做融合防止 OB 区被污染时整帧偏色。import numpy as np def black_level_correction(raw, ob_pixels, bl_table, gain_idx, temp_idx): raw: 输入 RAW 数据H x Wuint16 ob_pixels: OB 区像素用于实时估计 bl_table: 标定黑电平表 [gain_idx][temp_idx] - dict(r, gr, gb, b) bl_ref bl_table[gain_idx][temp_idx] # 用 OB 区实时估计与标定值做加权融合OB 异常时依赖标定 bl_est np.mean(ob_pixels) alpha 0.3 if abs(bl_est - bl_ref[gr]) 32 else 0.0 bl alpha * bl_est (1 - alpha) * bl_ref[gr] out raw.astype(np.int32) - int(round(bl)) return np.clip(out, 0, 65535).astype(np.uint16)坏点分静态和动态两类。静态坏点出厂标定存一张坐标表上电时直接查表替换动态坏点靠邻域判断当前像素和上下左右四个同色像素的差值超过阈值就判定为坏点。动态坏点的阈值不能给太死高 ISO 下噪声本身就大阈值太严会把正常噪声当成坏点画面会变得像塑料。注意动态坏点校正一定要放在降噪之前否则坏点会被降噪滤波器扩散成一片越滤越脏。这个顺序我见过不止一个项目搞反。2.2 镜头阴影校正不均匀的光照得先摊平镜头阴影的来源是镜头的余弦四次方衰减和像素的斜入射响应表现是画面四角发暗、边缘色偏。校正方法是标定一张增益网格每个网格点上存 R、Gr、Gb、B 四个通道的增益系数运行时双线性插值把边缘乘回去。标定的网格密度我一般用 16×13 或者 32×32。密度太低插值误差会在网格交界处形成可见的块状边界密度太高存储和插值开销上去了收益不明显。16×13 对大多数定焦镜头够用广角镜头建议 32×32。这里有个必须说清楚的点LSC 是乘法增益会同时放大信号和噪声。画面中心增益 1.0四角可能到 2.0 甚至 2.5也就是说边缘的噪声被放大了 2 倍以上。这意味着边缘的信噪比天然比中心差降噪强度必须做空间自适应不能全图一个参数。我调过的项目里边缘彩色噪点压不住八成是 LSC 增益给太猛加上降噪没做空间加权。def lsc_apply(raw, mesh_gain, bayer_patternRGGB): mesh_gain: (h, w, 4) 的增益网格通道顺序按 bayer_pattern 实际实现用双线性插值这里给出最近邻简化版说明逻辑 H, W raw.shape gh, gw mesh_gain.shape[:2] out raw.astype(np.float32) for ch, (dy, dx) in enumerate([(0,0),(0,1),(1,0),(1,1)]): # 按通道切片仅处理对应相位 sub out[dy::2, dx::2] gain mesh_gain[:, :, ch] # 网格坐标映射到子图坐标 ys np.linspace(0, gh - 1, sub.shape[0]) xs np.linspace(0, gw - 1, sub.shape[1]) gy, gx np.meshgrid(ys, xs, indexingij) y0, x0 np.floor(gy).astype(int), np.floor(gx).astype(int) y1, x1 np.minimum(y01, gh-1), np.minimum(x01, gw-1) fy, fx gy - y0, gx - x0 g (gain[y0,x0]*(1-fy)*(1-fx) gain[y0,x1]*(1-fy)*fx gain[y1,x0]*fy*(1-fx) gain[y1,x1]*fy*fx) out[dy::2, dx::2] sub * g return np.clip(out, 0, 65535).astype(np.uint16)LSC 还有一个隐蔽的坑增益网格和色温绑定。不同色温下镜头的透过率曲线不一样同一张网格在暖光下可能把边缘压得刚好到了冷光下就过校正边缘反而发亮发蓝。正经做法是按几个色温档位分别标定运行时按 AWB 的估计结果插值选表。2.3 Bayer 域降噪为什么一定要在去马赛克之前做这个问题我被问过很多次。答案在噪声的统计特性里RAW 域的噪声是单通道的每个像素只有一个观测值噪声表现为该像素相对真实值的随机起伏空间上是各向同性的去马赛克的过程本质是插值它把相邻同色像素的观测值加权组合噪声也被一起插值结果是原本独立的单通道噪声变成了三个通道间相关的噪声视觉上就是彩色斑点。彩色斑点的处理难度远高于亮度噪声因为人眼对色度噪声的容忍度低但色度降噪又特别容易把颜色边界糊掉导致高饱和区域出现颜色渗漏。所以工程上的标准做法是在 Bayer 域尽量把噪声压下去去马赛克之后只做轻量的色度残留清理。Bayer 域降噪的常用手段有三类。第一类是基于方向性的滤波先算水平和垂直方向的梯度沿梯度小的方向滤波避免跨越边缘第二类是频域方法小波变换后对高频子带做阈值收缩第三类是基于噪声模型的自适应滤波把噪声标准差作为滤波强度的输入暗部强、亮部弱。我实测下来方向性滤波加噪声模型自适应的组合性价比最高算力可控效果也稳。def bayer_denoise(raw, noise_sigma, strength1.0): 简化版基于同色邻域的方向性加权平均 noise_sigma: 当前 ISO 下的噪声标准差估计 kernel np.array([[0,1,0],[1,0,1],[0,1,0]], dtypenp.float32) # 同色邻域均值Bayer 上同色像素间隔 2 neighbor_sum ( np.roll(raw, 2, axis0) np.roll(raw, -2, axis0) np.roll(raw, 2, axis1) np.roll(raw, -2, axis1) ).astype(np.float32) / 4.0 # 权重随噪声水平自适应噪声大时更相信邻域 w np.clip(noise_sigma / 32.0, 0.0, 0.9) * strength out raw.astype(np.float32) * (1 - w) neighbor_sum * w return np.clip(out, 0, 65535).astype(np.uint16)注意Bayer 域降噪的强度必须跟 ISO 联动。固定强度在高 ISO 下压不住在低 ISO 下又会把皮肤纹理磨成塑料。这个联动曲线是画质调优里最需要手工打磨的部分之一。2.4 白平衡增益与颜色校正矩阵把颜色拉回真实白平衡增益是一个对角矩阵分别乘在 R、G、B 三个通道上把灰色物体在任意色温光源下都拉成灰色。它在去马赛克之前做因为 RAW 域的通道是分离的直接乘增益等价于在线性域缩放物理意义清晰。如果放到去马赛克之后再做插值过程会引入通道间串扰增益就不再是纯粹的对角操作了。颜色校正矩阵 CCM 是一个 3×3 矩阵作用是把 Sensor 的光谱响应映射到目标色彩空间。它必须放在去马赛克之后、伽马之前。放去马赛克之前每个像素只有一个通道矩阵乘法无从谈起放伽马之后数据已经非线性矩阵乘法会把中间调的色调拉歪出现明显的偏色。CCM 有两个硬性约束必须遵守。第一行列和归一也就是每一行三个系数加起来等于 1保证灰色物体经过矩阵变换后仍然是灰色否则整张图会出现跟随亮度的色偏。第二负系数要限幅矩阵里出现负值是正常的但过大的负系数会让高饱和颜色出现异常工程上一般把单元素限制在 [-1, 2] 区间内。def ccm_apply(rgb, ccm): rgb: H x W x 3, float32, 线性域 ccm: 3 x 3, 行和归一 assert np.allclose(ccm.sum(axis1), 1.0, atol1e-3), CCM 行和必须归一 out rgb ccm.T return np.clip(out, 0, 65535)CCM 会放大噪声这是它的固有缺陷。矩阵元素越偏离单位阵噪声放大倍数越高。工程上会计算 CCM 的噪声放大系数作为后续降噪强度的输入之一。我一般会在调 CCM 的时候同时看两个指标色卡上的 ΔE 误差和噪声放大系数在两者之间找平衡。追求极致色准把 CCM 拉得很猛噪点会明显劣化用户第一眼看到的往往是噪点而不是色准。2.5 前处理参数配置与实操心得前处理的参数多而杂我习惯把它们整理成一张表调参时按顺序过一遍避免遗漏。模块关键参数典型取值踩坑点黑电平校正分档黑电平、OB 融合权重10bit 下 64~256 LSB放在数字增益之后做暗部发灰静态坏点坐标表、替换策略出厂标定约 0.01% 像素表过期新批次 Sensor 漏检镜头阴影网格密度、分色温表16×13 或 32×32增益过大导致边缘噪点爆炸Bayer 降噪噪声模型斜率、强度曲线随 ISO 分段强度固定不联动高低 ISO 都不对白平衡R/B 增益、色温插值增益范围 0.5~4.0低色温下增益饱和画面偏黄CCM3×3 矩阵、行和归一单元素 [-1, 2]行和不为 1灰阶出现色偏我个人的调参顺序是黑电平 → 静态坏点 → LSC → 白平衡 → CCM → Bayer 降噪。降噪放最后是因为它的噪声模型依赖前面所有模块的输出统计特性前面一变降噪参数就得重调。这个顺序反过来做你会反复推翻自己的结论。3. 后处理从“正确”到“好看”的最后一公里前处理做完图像在物理上是“正确”的灰是灰红是红暗部没有偏置四角亮度均匀。但这张图拿给人看多半会被评价“平淡”“发灰”“不够锐”。原因在于人眼的感知特性和物理量的线性关系并不一致后处理要做的就是把线性数据映射到符合人眼预期的非线性空间再补上观感层面的增强。3.1 伽马与色调映射把线性数据装进 8bit 的盒子里人眼对亮度的感知接近幂律关系大致是亮度的 2.2 次方根。而显示设备和存储格式普遍只有 8bit线性映射到 8bit 会让暗部层次全部挤在少数几个码值里看上去就是一片死黑。伽马校正把线性数据做一次幂运算把暗部的码值拉开亮部压缩让 256 个码值在人眼感知上均匀分布。伽马的位置很关键。它标志着数据从线性域进入非线性域也就标志着一大堆线性运算不能再做了。矩阵乘法、叠加、缩放这些操作放在伽马之后物理意义全部失效结果的色调会随亮度漂移。所以我把伽马叫做后处理的“门槛”跨过去之后工具箱就换了一套。实际实现上很少用纯幂函数常用的是分段函数暗部用线性段保证黑位不糊中间调用幂函数亮部做软截断避免高光死白。这种分段做法在数学上稍微复杂但在暗部细节和噪声控制上的收益很明显。def gamma_encode(linear, gamma2.2, linear_seg0.0031308): 线性 RGB [0,1] 转非线性带线性段 out np.where( linear linear_seg, linear * 12.92, 1.055 * np.power(np.clip(linear, 1e-6, 1.0), 1/2.2) - 0.055 ) return np.clip(out, 0.0, 1.0)HDR 场景下还会叠加局部色调映射把高动态范围压缩到显示设备能呈现的范围内。这一步的调参极其主观压得太狠画面发灰失去层次压得太松高光直接过曝。我一般用直方图分布来判断压缩后中间调的直方图应该是平缓的单峰如果出现明显的双峰或者长尾说明映射曲线有问题。3.2 锐化与边缘增强在正确的域里做正确的事锐化的本质是提升高频分量让边缘过渡变陡观感上更清晰。经典做法是 USM非锐化掩模先用低通滤波得到模糊图原图减模糊图得到高频细节再按系数加回原图。锐化必须放在伽马之后而且是只在亮度通道上做。放伽马之前暗部的高频被放大后经过伽马拉伸暗部会出现夸张的白边在三通道上同时锐化色度边缘会被强化出现彩色描边。只在 Y 通道锐化色度保持平滑观感最自然。def unsharp_mask(y, amount0.8, radius1.0, threshold2, clip_limit24): y: 亮度通道 [0,255] uint8 对过冲做限幅防止白边黑边 from scipy.ndimage import gaussian_filter yf y.astype(np.float32) blur gaussian_filter(yf, sigmaradius) detail yf - blur # 低于阈值的细节视为噪声不锐化 detail np.where(np.abs(detail) threshold, 0, detail) out yf amount * detail # 过冲限幅相对原图的偏差不超过 clip_limit out np.clip(out, yf - clip_limit, yf clip_limit) return np.clip(out, 0, 255).astype(np.uint8)过冲限幅这一步绝对不能省。没有限幅的 USM 会在强边缘两侧制造亮暗光晕画面看起来像刻上去的放大看尤其明显。限幅范围我一般给 ±16 到 ±24 LSB具体看输出分辨率小图可以放宽一点大图必须收紧。3.3 色彩增强与局部对比度调的是记忆色不是真实色色彩增强分两部分饱和度提升和肤色保护。全局饱和度提升会等比放大所有颜色的饱和度高饱和区域容易溢出人眼最敏感的是肤色一旦肤色过饱和就会显得油腻、发红。做法是在饱和度曲线上做分区低饱和区域轻度提升高饱和区域抑制同时对肤色色相范围做单独的保护带。肤色的保护范围用 HSV 空间里的椭圆区域描述比较方便中心在色相约 25 度、饱和度 0.4 附近长短轴根据实际肤色标定。落在这个区域内的像素饱和度增益强制压到 1.0 以下。局部对比度提升是另一个大类本质是提升中频分量让画面更有立体感。常用的方法是大尺度低通滤波得到基础层原图减基础层得到细节层细节层乘系数后加回去。系数给大了画面会出现明显的halo尤其在天空和建筑的边界处看起来像贴纸。这里有个心得局部对比度的强度要跟场景内容联动。人像场景要压风景场景可以放文字场景要几乎关掉。全局一个参数在多种场景下必然翻车。3.4 3A 与后处理的耦合关系3AAE、AWB、AF虽然是独立模块但和前后处理深度耦合。AE 决定了曝光时间和增益直接影响噪声水平而噪声水平是降噪强度和锐化强度的输入AWB 决定了白平衡增益间接影响 CCM 的选择和色彩增强的基准AF 的结果影响局部区域的清晰度评估锐化强度有时会依赖对焦区域的统计。我遇到过最典型的耦合问题是AE 在暗光下拉高增益噪声暴增但降噪强度曲线是固定的结果画面噪点明显同时锐化强度也是固定的锐化把噪声当细节放大画面又脏又硬。解决办法是让降噪和锐化都读取当前的 ISO 和曝光时间做动态曲线。这个联动逻辑必须写进调参规范里不能靠调参工程师凭感觉给。3.5 后处理顺序的坑与量化误差后处理的顺序错了问题比前处理更隐蔽因为图像看起来“还行”只是不够好。常见的错误顺序是先锐化再降噪降噪会把锐化出来的细节一起磨掉锐化白做了先色彩增强再伽马颜色会随亮度漂移先缩放再锐化缩放把细节插值掉了锐化放大的是插值伪影。量化误差是另一个隐蔽问题。8bit 输出的码值间隔是 1/255弱细节在量化时会被截断尤其是在平坦区域会出现明显的色阶断层banding。工程上的解法是在后处理内部保持 10bit 或 12bit只在线路末端做 dithering 后降到 8bit。提示如果你看到画面大面积平坦区域出现一圈一圈的色带先别怀疑算法先检查位宽在哪一级被降到了 8bit。4. 前后处理的分工原则与工程取舍知道了每个模块该干什么接下来是更实际的问题这些模块该切成什么样交给谁做。同一个功能放在 Sensor 端的片上 ISP 里做和放在主控侧的软件后处理里做成本、延迟、画质上限完全不同。这一节讲取舍逻辑。4.1 线性域做事非线性域做感觉这是我总结的一条最简原则。凡是涉及物理量运算的操作都放在线性域黑电平、增益、阴影校正、白平衡、颜色矩阵、降噪。凡是涉及人眼感知的操作都放在非线性域伽马、锐化、饱和度、局部对比度。为什么要这么分因为线性域的运算满足叠加原理你可以把多个模块的传递函数合并成一个矩阵调试时可以单独验证每个模块的增益出了问题容易定位。非线性域不满足叠加原理模块顺序变了结果就变但人眼的感知恰恰是非线性的增强类操作只有放在非线性域才符合观感预期。违反这条原则的典型例子是在线性域做锐化。线性域里暗部的绝对值很小同样的高频增量在暗部占比极大锐化后暗部会出现夸张的噪点和光晕亮部反而看不出效果。反过来在非线性域做增益暗部被伽马拉伸后增益的放大倍数不一致整张图的亮度关系会乱。4.2 位宽与精度预算每一步都在丢信息整条链路的位宽预算是必须提前规划的。Sensor 输出 10bit 或 12bit前处理内部通常要扩到 14bit 或 16bit因为 LSC 增益和 CCM 都会放大数值范围不给余量会溢出截断。后处理在伽马之前保持 12bit 以上伽马之后可以降到 10bit最终输出再降到 8bit。环节建议位宽理由Sensor 输出10 / 12 bit硬件原生前处理内部14 / 16 bit留出增益与矩阵放大的余量伽马输入12 bit 以上暗部拉伸后需要精度支撑伽马输出10 bit人眼分辨极限再高收益有限输出 YUV8 bit dithering编码与显示标准位宽不够的后果是截断和量化噪声。LSC 四角增益 2.5 倍时12bit 输入乘以 2.5 需要至少 14bit 才不溢出CCM 的负系数会让某些通道的中间结果超出输入范围同样需要余量。我一般按“最大增益 × 输入位宽 2bit 余量”来估算内部位宽。4.3 硬件资源与延迟约束下的方案选择片上 ISP 的优势是延迟低、功耗低、带宽省缺点是算法固化、调参空间小、迭代周期长。软件后处理的优势是灵活、可迭代、算法上限高缺点是延迟高、功耗大、占用主控算力。选择依据主要是产品形态。对延迟敏感的场景比如车载倒车影像、工业检测必须把关键处理放在片上 ISP保证端到端延迟在几十毫秒以内对画质上限要求高、迭代频繁的场景比如内容创作设备可以把增强类后处理放到软件侧随时更新算法。4.4 不同产品形态的分工方案对比产品形态前处理归属后处理归属关键约束移动终端片上 ISP片上 ISP 部分软件增强功耗与发热车载视觉片上 ISP 为主极简保证实时延迟与可靠性安防监控片上 ISP编码前轻量增强低照度与带宽机器视觉片上 ISP 做基础校正主机侧做测量相关处理精度与可复现性内容创作设备片上 ISP 输出 RAW主机侧完整后处理画质上限与灵活性机器视觉这一类特别值得说。它的目标和消费影像完全相反不需要“好看”需要“可测量”。所以它的后处理往往跳过伽马、锐化、色彩增强这些观感类模块直接输出线性数据做测量算法前处理的精度和可复现性反而要求极高。5. 实操搭一条最小可用的处理链路光讲原理不够我把一条能跑起来的最小链路写出来你可以直接拿一份 RAW 数据跑通观察每个模块的效果。代码用 Python 和 NumPy重点在流程和参数不在性能优化。5.1 数据约定与输入准备输入假定是 12bit 打包的 Bayer RAW排列为 RGGB尺寸 1920×1080。读取后先解包成 16bit 的二维数组再按 2×2 相位切出四个通道。import numpy as np def unpack_mipi_raw12(buf, width, height): 12bit 紧凑打包解包每 3 字节存 2 个像素 b np.frombuffer(buf, dtypenp.uint8) b b.reshape(-1, 3).astype(np.uint16) p0 (b[:, 0] 4) | (b[:, 1] 4) p1 ((b[:, 1] 0x0F) 8) | b[:, 2] inter np.empty(p0.size p1.size, dtypenp.uint16) inter[0::2] p0 inter[1::2] p1 return inter.reshape(height, width)数据准备好之后先做一次统计看全图的最小值、最大值、均值以及 OB 区的均值。这一步能快速判断黑电平是否异常、是否有过曝区域比直接跑算法有效得多。5.2 前处理链路的串接前处理按前面讲的顺序串起来黑电平 → 静态坏点 → LSC → 白平衡 → Bayer 降噪 → 去马赛克 → CCM。每一步的输出都存一份中间结果方便对比。def preprocess_pipeline(raw, cfg): x black_level_correction(raw, cfg[ob], cfg[bl_table], cfg[gain_idx], cfg[temp_idx]) x static_dpc(x, cfg[dpc_map]) x lsc_apply(x, cfg[lsc_mesh]) x white_balance(x, cfg[wb_gain]) x bayer_denoise(x, cfg[noise_sigma], cfg[dn_strength]) rgb demosaic(x, patternRGGB) rgb ccm_apply(rgb, cfg[ccm]) return rgb去马赛克这里我用的是边缘自适应插值核心思路是对 G 通道先做方向判断沿梯度小的方向插值R/B 通道再用 G 的结果做色差插值。这个实现比双线性复杂一些但在高频纹理区域的伪彩明显更少值得多写几十行。中间结果一定要存图看。我习惯把每个模块的输出都存成 PNG用同一块区域做对比尤其是暗部区域和高频纹理区域。数字指标只能告诉你“变了多少”看不出“变好还是变坏”。5.3 后处理链路的串接后处理从线性 RGB 开始伽马 → 色彩增强 → 锐化 → 输出。注意伽马是分界线伽马之前的数据还在线性域之后的数据是非线性域。def postprocess_pipeline(rgb_linear, cfg): rgb rgb_linear / cfg[white_level] rgb gamma_encode(rgb, gammacfg[gamma]) yuv rgb_to_yuv(rgb) yuv[..., 1:] chroma_denoise(yuv[..., 1:], cfg[chroma_dn]) yuv[..., 0] unsharp_mask(yuv[..., 0] * 255, amountcfg[sharp_amount], thresholdcfg[sharp_thr], clip_limitcfg[sharp_clip]) / 255 yuv[..., 1:] color_enhance(yuv[..., 1:], cfg[sat_curve], cfg[skin_protect]) return yuv_to_rgb(yuv)后处理的参数我建议分场景存几套人像、风景、低照度、文档切换时整组加载而不是单参数微调。单一场景下调得再好换场景必然出问题。5.4 调参顺序与验证方法调参顺序必须严格从前到后黑电平 → 坏点 → LSC → 白平衡 → CCM → 降噪 → 伽马 → 色彩 → 锐化。每次只动一个模块改完立刻看中间结果确认无误再进下一个。跳步调参是最常见的时间黑洞。验证用标准图卡最省事。灰卡验证黑电平、白平衡和 CCM 的行和归一色卡验证色彩还原看 ΔE 的分布重点看肤色的几个色块噪声图卡验证降噪强度用平坦区域的噪声标准差量化分辨率卡验证锐化和去马赛克的细节保留看高频区域的 MTF 响应。def evaluate(yuv_out, yuv_ref): 基础指标噪声标准差、亮度均值、色彩误差 noise np.std(yuv_out[100:200, 100:200, 0]) # 平坦区 luma np.mean(yuv_out[..., 0]) de np.mean(np.abs(yuv_out[..., 1:] - yuv_ref[..., 1:])) return {noise_std: float(noise), luma_mean: float(luma), delta_e: float(de)}我一般会盯住三个数字平坦区噪声标准差、中间调亮度均值、色卡平均 ΔE。这三个数稳住画面基本不会有大问题剩下的就是主观微调。6. 常见问题与排查实录这一节是我这些年踩过的坑整理出来的速查表遇到问题先对着表扫一遍能省掉大量瞎猜的时间。6.1 典型现象速查现象可能原因排查路径处理方向整图发灰发白黑电平未扣或扣在增益之后查 OB 区均值与标定表差异把 BLC 移到数字增益前四角明显发暗LSC 未生效或网格与色温不匹配查网格增益是否为 1.0按色温重新标定边缘彩色噪点多LSC 增益过大 降噪无空间加权对比中心与边缘噪声标准差降 LSC 增益降噪做空间自适应灰阶出现色偏CCM 行和不为 1计算矩阵行和归一化后重新验证强边缘白边黑边锐化过冲无限幅查 USM 算子有无 clip加 ±16~24 LSB 限幅平坦区出现色带位宽中途降到 8bit逐级打印位宽伽马前保 12bit末端加 dithering暗部噪点随亮度跳变降噪强度未与 ISO 联动查 ISO 与强度曲线重做联动曲线肤色发黄发红缺肤色保护或 CCM 高饱和失准看肤色色相是否偏移加肤色保护带高频纹理出现伪彩去马赛克插值策略过于简单对比插值前后色度差换边缘自适应插值高光区域死白伽马高光段无软截断查高光码值分布加高光 roll-off6.2 几个不容易查出来的隐蔽问题第一个是OB 区污染。有些 Sensor 的 OB 区位置比较靠边容易被漏光或者暗电流不均匀影响导致黑电平估计偏高或偏低整帧出现亮度漂移。排查方法是对比 OB 区均值和标定表偏差超过 32 LSB 就要警惕这时候应该降权实时估计、提高标定表权重。第二个是LSC 网格的坐标对齐。网格是按标定图的分辨率生成的如果运行时改了裁剪窗口或者缩放比例网格坐标就会错位表现是画面出现斜向的明暗条纹。这个问题在切换分辨率时特别容易出现我一般会在分辨率切换的流程里强制重新加载网格。第三个是CCM 与 AWB 的时序错配。AWB 收敛需要几帧时间如果 CCM 立刻跟着 AWB 结果切换中间几帧会出现明显的色偏闪烁。工程上的做法是给 CCM 加切换迟滞色温变化超过阈值才切换并且切换时做几帧的线性插值过渡。第四个是锐化与缩放的顺序。先缩放后锐化锐化放大的是插值伪影画面会出现细密的振铃先锐化后缩放锐化出来的高频被缩放滤波抹掉锐化白做。正确顺序是先缩放再锐化且锐化强度要按缩放比例调整缩小越多强度越小。注意这四类问题的共同点是“看指标正常、看画面别扭”。所以永远不要只看 PSNR 和 SSIM一定要肉眼过一遍尤其是暗部、肤色、高频纹理、平坦渐变这四个区域。6.3 几条不太出现在文档里的经验关于降噪我从来不相信“一个参数打天下”。降噪强度必须是 ISO、场景亮度、局部方差三个量的函数做成一维或二维查找表最省事。查表的时候注意边界要做插值否则档位切换会看到画面噪点“跳变”。关于锐化锐化前的降噪比锐化本身重要。噪声没压住就去锐化等于把噪点当细节放大效果适得其反。我调试的顺序永远是先把降噪调到“微微偏软”再上锐化补回来这样出来的画面干净且锐利。关于色卡验证色卡上的 ΔE 平均值好看不代表没问题一定要看分布。如果只有肤色的几个色块 ΔE 偏高说明 CCM 在肤色区域拟合不足需要单独加权优化。全局平均会掩盖这种局部误差。关于中间结果养成存中间图的习惯每个模块输出都存一份命名带上参数。出了问题回溯时能直接定位到是哪一版参数引起的。这个习惯救过我很多次尤其是在参数改了几十轮之后。关于链路顺序接手新项目先花半天把链路顺序完整走一遍用一份标准 RAW 从头跑到尾中间每一步都存图。这半天看起来是浪费实际上能帮你省掉后面几周的定位时间。我见过太多人上来就调参数调了两周才发现黑电平位置不对。7. 写在最后的个人体会前后处理的边界说到底不是一个学术问题是一个工程协作问题。它的价值不在于定义多精确而在于能不能让硬件、算法、调优三拨人对同一件事有共同语言。我现在的做法很简单链路图上把去马赛克画成一条粗线左边标“校正”右边标“呈现”任何模块要跨线移动都必须拿出噪声模型或者主观评测的数据来说服大家。这条规矩立起来之后项目里关于“这个模块该谁做”的扯皮少了八成。另外一个体会是别把前处理当成“必须做完才能开始调后处理”的前置任务。实际项目里前后处理是反复迭代的后处理调出来发现暗部噪点压不住回头要改前处理的降噪强度前处理改了降噪后处理的锐化参数又得重调。真正高效的做法是把链路搭通先用一套保守参数跑通全流程再从前到后一轮一轮收紧每轮只动一到两个模块。这种滚雪球式的调法比“一次调好一个模块再进下一个”更贴合真实项目的节奏因为画质的各个维度本来就是互相牵制的。最后一个实用建议给你的链路写一份参数说明文档每个参数写清楚物理含义、取值范围、和哪些其他参数耦合。这份文档在你自己隔了三个月再回头看的时候价值会远超你的预期。我吃过这个亏一套参数调完没记录两个月后回来完全看不懂当时为什么这么给只能重调一遍。
阅读完成 · 觉得有帮助？
