★ FEATURED ARTICLE 1. 从RAW到成片ISP到底在整条链路的哪个位置很多人第一次接触计算成像会把ISP当成一个调色滤镜——相机拍完照套个风格就出图了。这个理解偏差挺大。ISP全称Image Signal Processor图像信号处理器它处理的不是已经成型的JPG而是传感器刚刚吐出来的、每个像素只有单一颜色分量的Bayer RAW数据。换句话说ISP是把物理光电信号翻译成人眼能接受的图像这个过程的全部工程实现。我习惯用一个类比传感器是耳朵它只负责听到光子的强弱ISP是大脑的听觉皮层负责把一堆频率信号解析成这是一句话、那是一个词。没有ISP你拿到的RAW就是一片带马赛克的灰度数据既没有正确的颜色也没有合理的明暗更谈不上好看。那ISP在整条链路里的位置就很清楚了。从光子打到传感器到你在屏幕上看到照片中间大致是这么一条路光学系统镜头把场景光线聚焦到传感器感光面这一步决定了进光量、畸变、暗角、色差等光学层面的先天特性。传感器光电二极管把光子转成电子再经ADC转成数字值输出Bayer格式的RAW。此时每个像素只有R、G、B中的一个分量。ISP这是本文的主角。它要完成黑电平校正、坏点修复、去马赛克、白平衡、色彩校正、伽马、降噪、锐化、色调映射等一系列操作最终输出一张RGB图像。编码与显示JPEG/HEIF压缩、屏幕渲染这才是用户看到的成品。为什么要把ISP单独拎出来讲因为它是计算成像这个概念真正落地的主战场。传统ISP是一条固定的流水线每一步都是手工设计的算法参数靠工程师调而AI-ISP则是把其中若干环节换成神经网络让翻译这件事从规则驱动变成数据驱动。这个转变带来的不只是画质提升还有整个研发范式的变化——从调参数变成训模型从写死流程变成可学习模块。理解了这个定位后面讨论传统流水线和AI-ISP的差异时你才不会把它们当成两个孤立的东西而是同一条链路上两种不同的实现哲学。2. 传统ISP流水线一条被工程打磨了二十年的固定产线2.1 流水线的典型环节与顺序逻辑传统ISP最核心的特征是固定顺序、逐级处理。这个顺序不是随便排的每一步都依赖前一步的输出顺序错了结果就崩。我把它拆成几个阶段来看。第一阶段是RAW域校正。传感器出来的数据并不干净有黑电平偏移即使完全没光像素也不是0、有坏点个别像素永远亮或永远暗、有镜头阴影画面四角比中心暗。这些必须在去马赛克之前处理因为一旦插值成RGB坏点会被扩散成一片再想修就难了。黑电平校正通常是减去一个标定值坏点修复靠邻域中值或方向性插值镜头阴影校正则用一张预先标定的增益表逐像素补偿。第二阶段是去马赛克。这是ISP里最经典也最考验功力的一步。Bayer阵列里每个像素只有一种颜色要恢复出每个像素的RGB三通道就得靠邻域插值。最简单的双线性插值会产生严重的伪彩和拉链效应所以实际用的是方向性插值、自适应插值等更聪明的算法。这一步的质量直接决定了图像的细节和色彩边缘干不干净。第三阶段是颜色与亮度处理。白平衡要消除光源色温的影响让白纸在不同灯光下都呈现白色色彩校正矩阵要把传感器的不理想光谱响应映射到标准色彩空间伽马校正则是因为人眼对暗部更敏感需要非线性地重新分配灰度。这三步环环相扣白平衡错了后面的色彩矩阵再准也白搭。第四阶段是降噪与锐化。这两件事本质上是矛盾的降噪会抹掉细节锐化会放大噪声。传统做法是在不同尺度上分别处理或者用双边滤波这类保边滤波器来平衡。最后还有色调映射把高动态范围压缩到屏幕能显示的范围内。2.2 为什么这条产线如此顽固你可能会问既然AI这么强为什么不早点换掉答案是传统ISP有两个AI短期内很难替代的优势。第一是确定性。传统ISP的每一步都是可解释、可预测的。给定同样的输入输出永远一致出了问题工程师能定位到具体哪一步、哪个参数。这在手机、安防、车载这些量产场景里极其重要——你不能让相机今天拍出来偏红、明天拍出来偏绿。第二是算力效率。传统ISP的算法大多是定点运算、局部操作非常适合在专用硬件ISP芯片、DSP上跑功耗低、延迟小。一台手机每秒要处理几十帧4K视频这个吞吐量靠通用GPU跑神经网络是扛不住的。但传统ISP的短板也很明显它的每一步都是手工设计人工调参面对复杂场景极暗光、高动态、混合光源时规则很难覆盖所有情况。工程师调参数本质上是在做平均最优牺牲某些场景换整体稳定。这正是AI-ISP切入的缝隙。2.3 一个容易被忽略的细节流水线的不可逆性传统ISP有个隐藏特性它是单向的、不可逆的。一旦RAW经过去马赛克变成RGB原始信息就丢失了。这意味着如果后面某一步做错了你没法回头重新处理。所以传统ISP的设计哲学是每一步都尽量保守宁可少做也不做错。这个特性也解释了为什么现在很多方案强调RAW域AI处理——在信息最完整的时候用神经网络介入而不是等到RGB域再补救。这是理解AI-ISP设计思路的一把钥匙。3. AI-ISP的切入点哪些环节适合换成神经网络3.1 不是所有环节都值得AI化一上来就把整条流水线换成一个大网络这是新手最容易犯的错。实际上AI-ISP的工程实践里选择替换哪些环节比用什么网络更关键。我总结了几条判断标准。适合AI化的环节任务本身是病态问题ill-posed即从输入到输出没有唯一解需要靠先验知识猜。典型代表是降噪、去马赛克、超分、暗光增强。这些任务传统算法靠手工设计的先验比如自然图像是分片光滑的而神经网络可以从海量数据里学到更复杂的先验。不适合AI化的环节任务有明确的数学定义、且对确定性要求极高。比如黑电平校正、坏点修复、镜头阴影校正这些用查表和简单运算就能做到极致换成网络反而增加不确定性、浪费算力。边界模糊的环节白平衡、色彩校正、伽马。这些传统上靠标定和规则但AI也能做关键看你的数据量和场景覆盖度。我的经验是如果场景相对固定比如固定型号的传感器固定镜头传统方法更稳如果场景极其多样AI可能更有优势。3.2 三种主流的AI-ISP架构实际落地中AI-ISP大致有三种架构各有取舍。第一种是端到端RAW到RGB。输入Bayer RAW直接输出RGB图像中间所有处理都交给一个大网络。这种架构最激进理论上能获得最好的画质上限但问题也最多训练数据难获取需要RAW-RGB配对、网络参数量大、推理延迟高、可解释性差。目前主要用在一些对画质极致追求、但对实时性要求不高的场景。第二种是混合流水线。保留传统ISP的骨架只把其中几个环节换成网络。比如去马赛克降噪用一个网络色彩处理仍用传统方法。这种架构工程上最务实既能拿到AI的画质收益又保留了传统流程的确定性和可控性。目前大多数量产方案走的是这条路。第三种是RAW域预处理传统ISP。在RAW域先用一个轻量网络做降噪或增强然后交给传统ISP走完剩下的流程。这种架构改动最小风险最低适合在已有传统ISP基础上做增量升级。3.3 选型时真正要算的三笔账选哪种架构不能只看画质得算三笔账。算力账网络参数量、每帧的MACs乘加运算次数、目标平台的算力上限。一个1080p30fps的实时处理留给ISP的算力预算可能只有几百GOPS这直接决定了你能用多大的网络。数据账训练一个RAW域网络需要成对的RAW和理想RGB。理想RGB从哪来要么用高成本设备采集要么用传统ISP的输出当标签但这样网络的上限就被传统ISP锁死了要么用仿真合成但仿真和真实有域差。这笔账算不清楚模型训出来也是白搭。延迟账AI-ISP的推理延迟通常比传统算法高一个数量级。对于拍照场景几百毫秒可以接受对于视频预览和录制延迟必须控制在几十毫秒内否则用户体验直接崩。4. 训练AI-ISP模型时数据比网络结构更让人头疼4.1 RAW-RGB配对数据的三种获取路径做AI-ISP网络结构可以抄论文但数据必须自己解决。这是整个项目里最耗时、最容易翻车的部分。我梳理了三条路径和各自的坑。路径一实拍配对。用同一场景一路保存RAW一路用高端设备或精心调校的传统ISP生成参考RGB。听起来最靠谱但实际操作中两路拍摄很难做到严格对齐——时间差导致运动、曝光差异导致亮度不一致、镜头差异导致视角偏移。我见过一个项目光是做RAW和参考图的对齐就花了两个月。路径二传统ISP输出当标签。直接用现有传统ISP的输出作为训练目标。这条路最省事但有个致命问题网络学到的上限就是传统ISP的水平你花大力气训出来的模型画质可能还不如调好参数的传统ISP。它唯一的价值是用更小的算力逼近传统ISP适合做轻量化替代不适合做画质突破。路径三仿真合成。用物理渲染引擎生成场景模拟传感器噪声模型得到RAW和对应的干净RGB。这条路能拿到完美配对但仿真和真实传感器之间存在域差噪声分布、光谱响应、非线性特性都不同模型在仿真上训得好到真实数据上可能直接崩。通常需要配合域适应技术。我的建议是以实拍配对为主仿真为辅做数据增强传统ISP输出仅用于预训练。三条路结合才能兼顾数据量和真实性。4.2 损失函数设计为什么L2损失会让图像变糊新手训AI-ISP第一版通常用L2损失均方误差然后发现输出图像糊。这不是网络不行是损失函数选错了。L2损失的本质是让预测值逼近标签的均值。当同一个输入对应多个可能的输出时去马赛克、降噪都是这种情况网络会输出这些可能性的平均而平均的结果就是模糊。这就是为什么L2训出来的超分、去噪模型普遍偏软。实际项目中损失函数通常是组合拳L1损失比L2对异常值更鲁棒输出更锐利是基础项。感知损失用预训练网络提取特征比较特征层面的差异能让输出更符合人眼感知。对抗损失引入判别器逼迫生成结果逼近真实图像的分布能显著提升细节真实感但训练不稳定容易产生伪影。色彩损失在色度空间比较避免颜色偏移。权重怎么配没有标准答案得根据你的目标调。追求PSNR就偏L1追求主观画质就加感知和对抗。我一般先用L1感知训一个稳定版本再谨慎地加对抗损失做微调。4.3 一个真实的踩坑噪声模型不对全盘皆输说个我踩过的坑。早期做RAW域降噪我们直接用传感器标称的噪声参数生成训练数据结果模型在真实暗光场景下表现极差。排查了很久才发现标称噪声模型只考虑了读出噪声和散粒噪声忽略了固定模式噪声、行噪声、以及温度漂移带来的噪声变化。后来我们改用实拍标定在暗室环境下对不同曝光、不同温度、不同增益设置分别采集多帧统计真实的噪声分布重新拟合噪声模型。改完之后模型在暗光下的表现提升了一个档次。这个教训是RAW域任务对噪声模型的准确性极其敏感任何简化都可能在真实场景里被放大。如果你要做RAW域AI务必花时间把噪声模型标定准。5. 落地部署从实验室指标到量产可用之间隔着什么5.1 量化与定点化精度掉得比你想象的多实验室里模型用FP32跑PSNR漂亮得很。一上端侧芯片为了算力和功耗必须量化成INT8甚至INT4。这一量化画质可能直接掉几个dB。量化掉点的原因主要有两个一是权重和激活值的动态范围分布不均少数大值主导了量化尺度导致小值精度丢失二是ISP任务对精度敏感尤其是暗部和色彩量化误差在这些区域特别明显。应对方法有几种量化感知训练在训练时就模拟量化误差让网络学会适应、逐通道量化每个通道用独立的量化尺度、混合精度敏感层保留高精度其他层量化。我的经验是量化感知训练是必做的不做的话端侧效果基本没法看。5.2 内存带宽被忽视的性能杀手很多人优化AI-ISP只盯着算力忽略了内存带宽。ISP流水线里每一级处理都要读写特征图如果网络设计得不好内存访问量可能比计算量还大成为真正的瓶颈。优化思路算子融合把连续的卷积、BN、激活融合成一个算子减少中间结果的读写、分块处理把大图切成小块让中间结果留在片上缓存、通道剪枝减少特征图通道数直接降低内存占用。这些在论文里往往一笔带过但在工程落地时是决定成败的细节。5.3 与传统ISP的协同不是替代是分工最后说个观念问题。很多团队做AI-ISP一开始想的是全面替代传统ISP结果发现处处掣肘。更务实的思路是分工传统ISP负责确定性强的环节校正、色彩AI负责病态问题降噪、去马赛克、暗光增强。这种分工还有个好处可以渐进式升级。先替换一个环节验证效果和稳定性再替换下一个。每一步都有回退余地风险可控。我参与过的一个项目就是这么做的从RAW域降噪切入跑通后再加去马赛克最后才碰色彩。整个过程花了将近一年但每一步都稳。6. 几个我反复验证过的实操心得6.1 先跑通传统ISP再谈AI如果你刚接手一个ISP项目别急着上神经网络。先把传统ISP的每个环节跑通、理解透知道每一步在干什么、参数怎么影响结果。只有这样你才能判断AI替换某个环节后画质的变化到底是网络带来的还是你原本传统ISP就没调好。我见过太多团队传统ISP一塌糊涂就指望AI救场结果连问题出在哪都定位不了。6.2 评价指标要主观客观双轨PSNR、SSIM这些客观指标和主观画质的相关性其实不高。一个PSNR很高的结果人眼看着可能又糊又假。实际项目中必须建立主观评价流程组织多人对成片打分关注暗部细节、色彩自然度、噪声质感、边缘锐度等维度。客观指标用来快速筛选主观评价用来做最终决策。6.3 暗光和色彩是最难啃的两块骨头如果让我排AI-ISP的难度暗光增强和色彩还原排前两位。暗光下信噪比极低网络很容易把噪声当细节放大或者把细节当噪声抹掉色彩则涉及光源估计、白平衡、色彩矩阵的联合优化任何一个环节偏了整体就偏。建议这两个方向单独建数据集、单独调模型不要指望一个通用模型全搞定。6.4 留一手给传统ISP保留fallbackAI-ISP再强也可能在某些极端场景下失效比如遇到训练分布外的光照或场景。工程上一定要保留传统ISP作为fallback当AI输出的置信度低或检测到异常时自动切回传统流程。这个机制在量产里是保命的别省。7. 写在最后AI-ISP不是终点是范式转移的开始回头看ISP这二十年的演进本质上是如何把物理信号翻译成人眼喜欢的图像这个问题的解法在不断升级。传统ISP用规则和标定AI-ISP用数据和网络。但两者不是对立的而是同一目标下的不同工具。我个人在实际项目中的体会是AI-ISP真正的价值不在于某个指标刷了多高而在于它把ISP的研发从调参数变成了训模型从手工设计先验变成了从数据里学先验。这个范式转移才是它值得被单独拿出来讲的原因。至于具体用哪种架构、替换哪些环节那都是工程取舍没有标准答案只有适合你场景的答案。如果你正在做相关项目我的建议是从一个小环节切入把数据链路打通把评价体系建起来然后再逐步扩展。别一上来就想着端到端那条路看着短坑最多。
阅读完成 · 觉得有帮助？
