视界原理之3D视频（一）：3D视觉和视差原理

3D 视觉和视差原理3D 视频不是“画面更高级”而是把左右眼本来就不同的视角保存下来并在显示端重新分发给两只眼让大脑恢复深度。先说结论2D 视频也有前后关系但那是大脑从单眼线索里推出来的3D 视频则额外提供双眼视差让深度判断更接近真实观看。深度来源2D 视频3D 视频遮挡有有透视有有大小变化有有运动视差有有双眼视差没有独立分眼有左右眼差异调焦/会聚一致性基本不匹配真实空间仍有限制尤其屏幕固定焦平面3D 的核心不是让画面“弹出来”而是控制左右眼差异让大脑能稳定融合。一张图先建立心智模型左眼和右眼不在同一个位置因此同一个物体落在两只眼视网膜上的位置不同。这个位置差就是视差视差越大通常说明物体越近。1. 人眼为什么能看出立体人的两只眼之间有瞳距成人常见约 60mm 到 70mm。这个基线让左右眼看到的画面天然存在差异。概念含义对 3D 视频的影响IPD两眼瞳孔中心距离决定左右相机或虚拟相机的基线参考disparity同一点在左右眼图像中的位置差直接影响深度感convergence两眼视线向同一目标汇聚视差过大时眼睛疲劳accommodation晶状体调焦3D 屏幕里焦点仍在屏幕平面和会聚可能冲突fusion大脑融合左右眼图像左右眼不同步或错位会融合失败一个关键事实是3D 显示只能控制左右眼图像不能真正改变屏幕的物理焦平面。这就是长时间看 3D 容易累的原因之一。2. 视差不是越大越好很多初学者会把强 3D 感理解成“视差拉大”。工程上恰好相反视差必须被限制在舒适区间内。视差类型表现风险正视差物体看起来在屏幕后方过大会导致融合困难零视差物体看起来在屏幕平面上最稳定适合字幕和 UI负视差物体看起来从屏幕前出来冲击强但最容易疲劳垂直视差左右眼上下错位大脑很难融合强烈不适时间视差左右眼不是同一时刻动作错位容易晕对于视频内容最危险的不是“立体感不够”而是左右眼关系不稳定一会儿视差过大一会儿垂直错位一会儿时间不同步。3. 2D 深度线索和 3D 视差怎么叠加3D 视频并不会丢掉 2D 线索。真正自然的立体感来自两类线索一致。线索例子如果和双眼视差冲突遮挡A 挡住 BA 应该更近大脑会觉得画面不可信透视远处物体更小视差却显示它更近会很怪光照阴影阴影暗示空间位置阴影方向错会破坏真实感运动视差镜头移动时近物移动更快视差和运动方向冲突会眩晕景深焦外模糊暗示距离虚化和立体深度不一致会假这也是 2D 转 3D 容易翻车的根因算法可以估深度但要让遮挡、边缘、运动、景深和视差全部一致很难。4. 从内容制作看视差控制3D 内容制作时要考虑“舒适观看区”不是只考虑画面好看。制作参数影响相机基线基线越大视差越强太大容易像微缩模型convergence plane决定哪个深度落在屏幕平面focal length影响透视压缩和空间感interaxial distance左右相机间距直接影响深度比例toe-in / parallel影响左右图几何一致性toe-in 容易引入垂直视差depth budget限制最大出屏和入屏范围从业者常说 3D 的“舒适度”本质就是这些参数共同决定的融合成本。5. 采集、编码、解码、显示分别保什么阶段必须保住什么丢了会怎样采集左右眼同一时刻、同一曝光、同一几何标定动作错位、颜色不一致、垂直视差编码左右视图质量和同步关系一眼清晰一眼糊、码率分配不均封装stereo layout、eye order、时间戳播放器不知道怎么分眼解码视图依赖、输出顺序、PTS帧序错、左右眼不同步显示分眼、视口、设备光路重影、串扰、左右反3D 不是某一个环节的能力它要求整条链路都保留“左右眼关系”。6. 从业者要注意的坑问题典型表现根因方向左右眼不同步快速运动时发虚采集同步、PTS、队列重排垂直错位眼睛酸、无法融合相机标定、rectification、渲染矩阵左右反深度前后颠倒eye order metadata 或播放器配置错视差过大出屏强但眩晕基线、convergence、内容制作不当串扰左眼看到右眼残影显示设备隔离不足单眼质量不一致一边清晰一边糊编码码率、镜头、曝光或 ISP 不一致一句话总结3D 视频的本质是跨采集、编码、封装、解码和显示全链路维护左右眼差异差异要足够形成深度又必须足够受控才能被大脑舒服地融合。