手机相机：三镜头如何超越双镜头？(上)

shuszhao

在双镜头智能手机越来越普及的同时，华为(Huawei)最新推出的P20 Pro揭示三镜头手机时代的来临…三个镜头真的有比两个镜头厉害吗？
在过去两年，我们已经见证到在大众市场上的大多数智能手机对双镜头技术之采用，而且几乎是跨所有手机业者；双镜头出现在前置或后置相机，有不同的配置以及终极目标。
根据市场研究机构的报告指出，2018年有30%的智能手机将采用双镜头，明年该比例将成长至50%。而虽然智能手机市场花了超过十年时间才添加第二个镜头，看来第三个镜头也马上要登场了──在双镜头方案被采纳的两年之内。
本文将探讨智能手机影像系统添加第三个镜头的一些动机、所带来的挑战，以及一些可能的解决方案。


双镜头发展回顾

智能手机的厚度一直是行动摄影技术的挑战；随着技术演进，相机光圈尺寸可以非常迷你，画素(pixel)尺寸也越来越小，此外自动对焦与影像稳定也仍然需要能放进去。而最近，智能手机厂竞相实现不错的低光线拍照性能、高分辨率、低SNR，甚至还能以仅6mm的相机高度来变焦。
双镜头技术的诞生，除了为相机模块制造商与智能手机业者带来救赎，同时也带来挑战；它提出的方案是：如果单支相机已经充分发挥潜力，为何不合成两支相机的输出，好让它们能各自贡献其特殊优势？ 最早搭载双镜头的智能手机是HTC One (M8)，应用于后置相机；其唯一目的是提供景深与对焦效果。而双镜头手机发展的第一阶段持续至2016年中，当时有多家智能手机业者都在旗舰机种尝试采用双镜头技术，利用不同的设定，包括仅支持景深、RGB-单色(Mono)，以及广角-超广角(Wide-Wider)等组合。不过并没有出现“杀手级拍照应用程序”，也没有任何一种配置方法胜出。
2016年9月，Apple发表配备后置双镜头相机的iPhone 7 Plus，以“广角+望远”(Wide+Tele)的高阶双镜头配置，强调支持两种消费者最想要的功能：光学变焦(optical zoom)与数位散景(digital bokeh；或称“人像模式”)。从那时候起，双镜头智能手机市场地位确立，各家高阶与旗舰机种都采用了与Apple类似的配置，中低阶手机则仍仅支持景深功能。

图1：Corephotonics (以色列新创公司，本文提供者)是在 2014年推出变焦双镜头系统，能在不牺牲相机Z轴高度的前提下支持真正的光学变焦。（来源：Corephotonics）

然后是三镜头！

虽然双镜头智能手机已经在高阶市场普及，在近期内仍将会有许多新的双镜头拓朴亮相，以强化今日的双镜头方案性能；一个下一代双镜头进化的案例即将发生，即是可折迭相机架构的应用，不只能大幅改善变焦倍数以及低光线拍摄性能，也能实现更低的相机模块高度以适应更薄的手机机身。OPPO在2017年MWC就曾发表过采用这类技术的初期原型──配备5倍变焦镜头的智能手机相机技术。
另一个智能手机相机的有趣变化，会是利用三镜头组合；不过说比做容易得多，添加第三个相机镜头会带来明显的挑战(以及奖赏)，也为智能手机制造商开启了更广泛的可能性与配置选项。

图2：三镜头智能手机可以有很多不同配置。（来源：Corephotonics）

接下来让我们来看看三镜头相机系统面临的三大挑战：


挑战一： “坪数”与成本

三镜头解决方案不但增加了相机系统物料列表(BoM)成本，也会因为其他可能整合到手机内的技术(例如红外线感测、近接传感器、结构光、更大的电池…等等)，而在机体内部空间占据更多“坪数”。这种 “惩罚”几乎是不可避免的，但厂商必须要以整体金钱价值来衡量，有部分取决于其目标受众的优先性。 第三支相机添加的成本会与其配置直接相关，这点笔者在接下来会进一步解释；其金额估计在10美元至30美元之间。


挑战二：校准

为了要达到在视讯/影像预览的无缝用户体验，并避免在影像融合或散景时出现残影或过长的处理时间，必须要在此三镜头成像系统的内部与外部属性上仔细校准，而且要在相机的生产在线进行，必须一丝不苟甚至可能以连续、自动化的执行方式来补偿物理性动态变化，例如温度变化与设备掉落冲击等。 相机系统的校准以及讯框同步(frame-to-frame synchronization)，为相机模块制造商以及这种更复杂相机系统供货商带来挑战；因为如果三个镜头每一个都需要完美校准，组装程序必须要谨慎设计，而良率预期会较低，如此可能会直接影响整体相机成本。


挑战三：韧体、算法与功耗

三镜头摄影系统在韧体方面也会更复杂，新架构会必须能像是只运作一支相机那样搞定三支相机；处理程序例如电源管理、讯框要求(frame request)、内存管理，以及其他相机管理员程序内部的状态机(state-machines)，会需要处理更多的逻辑、更多数据并允许在流水线内更多的平行处理，同时以更有效率的方式支持应用层以因应实时性能。
在另一方面，算法也面临相同挑战，包括确保合理的处理运作时间，以及避免来自多个镜头的多输入影像而导致的残影；同时还要处理三镜头在讯框同步、遮蔽(occlusions)方面的不精准，以及三镜头校准数据中的缺陷。因为这些复杂性，这种配置的整体系统(包括摄影镜头与处理平台)功耗会大大受影响。 接着让我们来讨论几种三镜头配置方法，这些案例各有优缺点，当然也可能还有其他的配置…