★ FEATURED ARTICLE 简介索尼 IMX664-AAQR1-C CMOS 图像传感器官方数据手册面向安防摄像机硬件设计、驱动开发与图像调试人员可用于选型评估、电路设计、寄存器配置和规格核对也可作为低功耗高清成像方案的参考依据。压缩包内仅含 1 个 PDF 文件约 1.26MB系统整理器件结构、绝对最大额定值、像素阵列、读取模式、帧率、HDR、同步传感器、变速快门、转换增益切换、CDS/PGA 及 CSI-2 接口等内容。正文给出 1/1.8 英寸、约 416 万有效像素、推荐记录像素 2688×1520、全像素扫描 12bit 90fps 与 10bit 120fps 等关键指标并说明三重电源供电、HCG/LCG 模式、072dB 增益控制、窗口裁剪、水平/垂直 2/2-line binning、正反读取方式及 24MHz 至 74.25MHz 输入频率同时覆盖 AR 涂层、低暗电流和无涂抹特性便于快速确认设计边界、评估成像性能与定位调试方向。已有 258 人学习尤其适合安防监控与宽动态视频捕捉场景中需要一手规格依据的硬件与嵌入式工程师查阅。1. 4.08M 像素、90 fps、12 bit三个数字背后是一条被压到极限的读出链路翻开这份 imx664 datasheet多数人先被 416 万像素和 1/1.8 英寸这两个数字吸引真正值钱的却是另一行12 bit 下 90 fps、10 bit 下 120 fps。同一颗 2.9 μm 方形像素的芯片把位深做成了可以拿来换帧率的旋钮而不是焊死的固定规格。这一行往下追会牵出四种读出模式、一套片上时序发生器、两条完全不同的 HDR 路线和三路彼此独立的电源域。规格书把答案摊在几十页表格和时序图里却几乎不解释为什么。下面按“这个数字怎么来的、为什么这么设计、实现上会在哪里出错”的顺序把它拆开看一遍。2. 像素与读出模式2.9 μm 的方形像素怎么在四种扫描方式间切换2.1 从 2704 到 2688有效像素、主动像素、推荐记录像素的三级裁剪规格书里同时给了四个数字总像素 2704×1560约 4.22 M、有效像素 2704×1540约 4.16 M、主动像素 2704×1536约 4.15 M、推荐记录像素 2688×1520约 4.08 M。新手最容易犯的错是把它们当成同一件事的不同说法实际上这是同一条读出链路上的四道裁剪每收缩一级都对应一个具体的硬件理由。先看垂直方向。总数 1560 行比有效像素 1540 行多出 20 行规格书在光学黑像素那一项里写明“垂直方向前沿 20 像素后沿 0 像素”。这 20 行像素被遮光输出的是纯粹的暗电平后端用它做黑电平钳位和暗电流的温度补偿。安防摄像头长期工作在户外暗电流随温度按指数规律变化没有这 20 行参考黑电平会随昼夜温差漂移画面早晚两个时段看起来完全不是一个颜色。再看水平方向。规格书写的是“前沿 0 像素后沿 0 像素”也就是水平方向根本没有光学黑像素。这意味着黑电平的参考只能取垂直那 20 行或者干脆靠数字钳位。做长曝光或者高温场景时这一点必须提前算进方案——很多开发者拿到的第一版图像左右两侧亮度不均追到最后发现是没有做水平方向的自适应黑电平校正而芯片本身不提供这个参考。最后从主动像素 2704×1536 收窄到推荐记录像素 2688×1520水平去掉 16 列、垂直去掉 16 行。去马赛克需要邻居像素镜头边缘还有照度跌落和色差边界像素的成像质量本来就不可用。推荐记录区等于把这圈不可靠的像素让出来交给后端做插值和畸变校正。# 像素账从总面积到推荐记录区域的三级收缩 TOTAL (2704, 1560) # 含 dummy / 光学黑的总像素 EFFECT (2704, 1540) # 有效像素垂直方向扣掉前沿 20 行光学黑 ACTIVE (2704, 1536) # 主动像素再去掉 4 行边界 RECORD (2688, 1520) # 推荐记录像素左右各留 8 列、上下再收 8 行 OB_ROWS 20 # 规格书垂直前沿 20 行光学黑后沿 0 行 def mp(w, h): return w * h / 1e6 print(mp(*TOTAL)) # 4.218 约 4.22 M print(mp(*EFFECT)) # 4.164 约 4.16 M print(mp(*ACTIVE)) # 4.153 约 4.15 M print(mp(*RECORD)) # 4.086 约 4.08 M # 记录区相对主动区的偏移水平居中垂直居中还是贴边取决于读出方向 off_x (ACTIVE[0] - RECORD[0]) // 2 # 8 off_y (ACTIVE[1] - RECORD[1]) // 2 # 8 print(off_x, off_y)这段代码的意义不在算力而在建立一个坐标系。后面所有裁剪、合并、镜像的寄存器配置都要落在“从哪一级算起”的约定上。把推荐记录区的左上角当成 (0,0)和把主动区左上角当成 (0,0)差了 8 行 8 列画面会整体偏移一小格——肉眼几乎看不出但在多目拼接里就是接缝对不上。2.2 2/2 行合并为什么能把灵敏度翻四倍却只掉一半分辨率规格书列的第一种非全像素读出模式是“水平/垂直 2/2 行合并”。2688×1520 经过 2×2 合并变成 1344×760约 1.02 M 像素像素数掉到四分之一但每个输出像素对应 4 个物理像素的感光面积。灵敏度账是这么算的4 个像素的电荷相加信号变成 4S光子散粒噪声按平方根增长变成 2√S信噪比提升 2 倍也就是 6 dB。这在安防场景里是救命级别的改善——夜间路灯下的车牌全像素模式下噪点满屏binning 之后细节虽然糊了但轮廓和颜色能立住。有意思的是帧率。理论上行数减半、列数减半行时间与帧时间同时减半帧率能提升 4 倍。但这颗芯片的接口带宽已经先撞墙了全像素 12 bit 90 fps 的净荷就压在 4.4 Gbps 上binning 省下来的带宽如果全拿去换帧率链路根本扛不住。所以在这颗传感器上2/2 合并的现实收益主要是三件事暗光下的信噪比、后端 ISP 的负载数据量降到四分之一、以及在 2 lane 配置下还能跑得动的余量。帧率提升反而排在后面。提示合并发生在电荷域还是数字域噪声表现不一样。电荷域合并只经一次读出电路数字域合并要把 4 个像素各自读出再相加读出噪声叠 4 次。规格书只写“行合并模式”具体在哪一级做要看寄存器表里对应的读出路径配置。2.3 窗口裁剪与正反读ROI 与镜像的坐标系对齐窗口裁剪模式是给“我只关心画面中间那一块”的场景准备的。裁剪掉的行不再被读出帧时间按比例缩短帧率线性上升。安防里的典型用法是白天全视野监控夜间只对出入口做高帧率抓拍同一个模组切两套窗口参数。但裁剪有两个硬约束。第一变速快门的分辨率是 2H 单位也就是曝光时间的调整步进等于 2 个行周期所以窗口的起点和高度最好按 2 的整数倍对齐否则曝光计算会出现半行误差。第二正/反读模式会把读出方向翻过来坐标系跟着翻转——从右下角开始读你原来填的裁剪起点语义就变了。吊装摄像头必须开反读这一条如果没在驱动里同步处理出图就是上下颠倒而且裁剪位置也不对。def align_crop(x, y, w, h, step2): 按 2 像素对齐裁剪窗口匹配 2H 的快门分辨率单位 x (x // step) * step y (y // step) * step w (w // step) * step h (h // step) * step return x, y, w, h def fps_after_crop(h_win, v_win, h_full2688, v_total1600, fps_full90): 粗略估算行时间随每行像素数线性变化帧时间随行数线性变化 line_scale h_win / h_full frame_scale v_win / v_total return fps_full / (line_scale * frame_scale) print(align_crop(513, 257, 1920, 1080)) # (512, 256, 1920, 1080) print(fps_after_crop(1920, 1080)) # 约 163 fps受链路带宽封顶这里的v_total取 1600 行是估算值真实值取决于帧消隐配置代码只用来判断“裁剪能不能把帧率拉到我需要的量级”。算出来 163 fps 明显超出接口能力说明实际会被 4.4 Gbps 的链路卡在 90 fps 附近——裁剪在高帧率场景下真正的价值是降低单帧数据量而不是无限提帧率。3. 带宽与帧率90 fps 是怎么被算出来的主从同步又靠哪几根线3.1 12 bit 90 fps 与 10 bit 120 fps 的净荷算术把推荐记录像素、位深、帧率乘一遍就能得到这颗芯片的数据出口压力。这不是理论练习链路规划错了后面所有参数调整都是白费。W, H 2688, 1520 for bits, fps in ((12, 90), (10, 120)): payload W * H * bits * fps print(f{bits}bit {fps}fps - {payload/1e9:.3f} Gbps 净荷) for lane in (2, 4): print(f {lane} lane: {payload/lane/1e9:.3f} Gbps/lane)输出是12 bit 90 fps 约 4.413 Gbps10 bit 120 fps 约 4.903 Gbps。按 4 lane 摊每 lane 的净荷分别是 1.103 Gbps 和 1.226 Gbps加上 CSI-2 的包头包尾、行尾填充和 EoT经验系数取 1.11.2实际线速率会落在 1.351.47 Gbps/lane 这个区间——这是 D-PHY 非常好做的档位功耗和信号完整性都舒服。反直觉的地方在这里帧率从 90 提到 120涨了 33%带宽只涨了 11%。原因很简单位深从 12 降到 10单像素数据量少了六分之一正好抵掉大部分帧率增幅。这也解释了规格书为什么要把这两个数字并排写——它们不是两个独立规格而是同一条链路上的两种等价配置。配置分辨率位深帧率净荷4 lane 每 lane2 lane 每 lane高画质2688×152012 bit90 fps4.413 Gbps1.103 Gbps2.207 Gbps高帧率2688×152010 bit120 fps4.903 Gbps1.226 Gbps2.451 Gbps合并1344×76012 bit受链路封顶约 1.10 Gbps0.276 Gbps0.551 Gbps3.2 CSI-2 的 2 lane 与 4 lane什么时候 2 lane 就是不够用规格书支持 2 lane 和 4 lane 两种 CSI-2 输出RAW10 和 RAW12 两种打包格式。乍看 2 lane 更省引脚、更省布线成本也更低但把上面那张表第三列翻出来看2 lane 在 10 bit 120 fps 下每 lane 要扛 2.451 Gbps 净荷加上协议开销接近 2.8 Gbps。这个速率在短走线、好板材上勉强能跑一旦模组要过排线、过连接器眼图就废了误码表现为随机的行错位或者整帧丢失。所以 2 lane 的真实定位是“降配场景”binning 输出、裁剪输出、或者帧率不拉满的常驻预览。4 lane 才是全像素 90/120 fps 的默认配置。选型时先算净荷再决定 lane 数不要反过来——先定 2 lane 再去找能跑的模式最后往往被迫降帧率而帧率是安防里最不该妥协的参数之一。3.3 XMASTER、XVS/XHS 与 XCLR主从模式的时序约定输入时钟给了五档24 MHz、27 MHz、37.125 MHz、72 MHz、74.25 MHz。这几个数字不是随便挑的。24 和 27 是通用晶振和 MCU 时钟体系的常见档位方便直接用系统已有 clock 省一颗晶振37.125 与 74.25 正好是 2 倍关系而 74.25 MHz 又是高清视频像素时钟体系里的常见档位。换句话说这颗芯片可以直接接收后端视频时钟域的时钟不需要额外的时钟发生芯片多设备同源也就顺带解决了。同步是另一套机制。XMASTER 引脚为高时芯片工作在从模式接收外部送进来的 XVS/XHS为低时工作在主模式自己输出 XVS/XHS。多传感器系统里一颗主片输出帧同步和行同步其余从片接收做到逐帧对齐。这套机制解决的是“多目同时曝光”的问题——如果靠软件发命令去对齐命令传输的抖动就有几十微秒两个摄像头的曝光窗口错开拼接画面里运动目标就会出现撕裂。XCLR 是系统复位。它的释放时机很关键必须在输入时钟稳定之后否则芯片内部的时序调整电路锁到一个不干净的时钟上寄存器状态会变得不可预期。常见的实现思路是“电源建立 → 时钟稳定 → 等若干毫秒 → 释放 XCLR → 等内部初始化完成 → 再发 I2C”中间每一步的间隔都能在规格书的时序图里找到最小值照抄即可不要凭感觉压时间。4. HDR 的两条路线数字重叠 HDR 与 Clear HDR 各自把动态范围花在哪4.1 数字重叠 HDR多曝光合成的时序账数字重叠 HDR 的思路是把不同曝光长度的多帧在时间上部分重叠地读出来再在数字域合成。片上时序发生器负责产生长短曝光的读出序列输出多路数据交给后端。它的好处是动态范围可以堆得很高。两曝光合成通常能到 100 dB 以上三曝光还能再往上。代价是采样时刻不一致长曝光在 t0 到 t1 积分短曝光在 t1 到 t2 积分同一个运动目标在两个曝光里位置不同合成后边缘就会出现重影。安防场景里这个伪影特别明显——夜间门口走过一个人轮廓上会挂一圈半透明的“鬼影”。还有一个隐患是光源闪烁。在 50 Hz 工频光源下长短曝光的积分窗口落在不同的纹波相位上合成后画面会出现横向的明暗条纹。血泪经验是把曝光时间取成工频周期的整数倍或半整数倍让每个曝光窗口覆盖完整的纹波周期。这一条规格书不会写但现场调试绕不开。4.2 Clear HDR单次曝光内做分段的代价Clear HDR 走的是另一条路在一次曝光里同一时刻在像素内部保留高、低两个转换增益的电荷读出时得到两路信号。因为两路信号来自同一个时间点运动伪影这个问题从根上就不存在工频闪烁也不再有相位差。代价有两块。第一动态范围受限于像素内部两个电荷存储节点的容量比提升幅度比多曝光合成保守第二像素结构更复杂2.9 μm 的单元尺寸里要挤出额外的电容填充因子和暗电流都要做妥协。规格书把转换增益切换单独列成一条特性HCG / LCG 模式就是在暗示这条路径依赖像素内的电容切换。选型时的判断很直接拍静态场景、追求极限动态范围选数字重叠拍运动目标、对伪影零容忍卡口抓拍、道闸识别选 Clear HDR。两者不是新旧替代关系是两个不同的工程取舍。4.3 HCG/LCG 与 CDS/PGA增益链上的每一级到底在救什么规格书里那段增益描述值得逐字读“0 dB 到 30 dB模拟增益步进 0.3 dB30.3 dB 到 72 dB模拟增益 30 dB 数字增益 0.3 dB 到 42 dB步进 0.3 dB”。前半段和后半段是完全不同的东西很多开发者把 72 dB 当成“72 dB 的模拟增益”然后抱怨暗光下噪点大得没法看。增益区间实际构成噪点表现0 30 dB纯模拟增益在 ADC 之前放大信号与噪声同比放大但压制了 ADC 量化噪声信噪比基本持平30.3 72 dB30 dB 模拟 0.342 dB 数字乘法只是把数字放大信噪比不再改善噪点同比变粗也就是说30 dB 是模拟链路的物理上限再往上拉的 42 dB 全是数字乘法相当于在 ISP 里调亮度。暗光下真正有效的手段只有三个切到 HCG 提高转换增益、延长积分时间、开 2/2 合并增加感光面积。把增益从 40 dB 拉到 60 dB画面确实亮了但那只是把噪声一起放大了 20 dB。再往前一级是 CDS。相关双采样先读复位电平、再读信号电平两者相减把复位噪声和像素固定模式噪声压掉。这是 CMOS 传感器能做出低暗电流、低固定模式噪声的基础没有 CDS后面所有增益都是在一个脏信号上做乘法。HCG 和 LCG 的物理含义是转换增益HCG 用小电容一个电子换来的电压更大读出噪声折算到输入端的等效电子数更低适合低照度LCG 用大电容满阱容量更大高光不过曝。这条切换通常和 HDR 模式绑定使用——低照度段走 HCG高光段走 LCG相当于把动态范围从两端各拉一截。5. 调试避坑三类翻车现场与寄存器级排查5.1 电源域DVDD 的绝对最大值只有 2.0 V现象板子上电后 I2C 完全没有应答芯片发烫。原因这颗芯片是三路电源——模拟 3.3 V、接口 1.8 V、数字 1.1 V。绝对最大额定值里AVDD 和 OVDD 都是 -0.3 到 3.65 V而 DVDD 只有 -0.3 到 2.0 V。数字域是 1.1 V 工艺栅氧最薄把 1.8 V 甚至 3.3 V 误接到 DVDD 上一次上电就击穿。应用条件写得更紧AVDD 3.20/3.30/3.40 VOVDD 1.70/1.80/1.90 VDVDD 1.00/本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
