Android手机年底也能用上3D dToF摄像头了

shuszhao · 发表于 2021-3-7 07:51:47

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区

您需要登录才可以下载或查看，没有账号？立即注册

×

iPhone X的结构光将3D感知/成像在消费电子领域彻底带火了。其后结构光、3D ToF市场都获得了相当快速的成长。不过2020款iPad Pro发布时，其上所谓的“LiDAR”摄像头仍然挺让人惊讶，包括iPhone 12 Pro手机也沿用了这种3D感知方案：5米的测量范围的dToF方案。
我们在《手机的3D感知能力——消费电子ToF技术与市场分析报告》中曾提过，主流的两大类ToF测距方法，iToF与dToF（indirect ToF与direct ToF）。这两种方案各有利弊，其中dToF在手机拍照的激光对焦、前置距离传感，以及投影机对焦等领域已经有比较广泛的应用了，但消费电子的3D感知少见dToF方案。
除了苹果之外，市面上主流的手机、平板所用的3D ToF，基本上都是iToF。这主要是因为iToF技术整体成熟，且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。

上周的MWC上海展会上，ams（艾迈斯半导体）宣布与ArcSoft（虹软）合作推出面向移动设备的后置3D dToF传感解决方案。这套方案预计会在今年年底开始量产。也就是说，明年市场上可能就会有大量采用dToF摄像头的Android手机和其他移动设备问世了。
借ams的这套方案，我们也有机会更深入地去了解dToF这种测距方法。

登录/注册后可看大图

现在流行的iToF存在一些问题

ToF（Time of Flight）是一种常见的测距方法，如果将其限定在光学领域，则ToF光学测距是指，要测得ToF模组与场景中某个对象的距离，由ToF模组的光源向该对象发出光（子）。光折返回ToF模组传感器，计算整个过程里“光的飞行时间”，就能测得距离。
这个原理本身实际上更偏向于dToF，即直接测量。说得更具体些，dToF是指由发射端发出一个激光脉冲，经过场景中某个对象反射，回到接收端，由接收端的光电探测器检测到。藉由抽象的“计时电路”测量全过程消耗时间，则获得距离信息。
iToF实际上还可以做切分，包括p-iToF（基于脉冲的iToF）以及cw-iToF（基于连续波的iToF）。现在手机上比较常见的3D ToF方案普遍是cw-iToF测量方法。这种连续波ToF方法，是针对发射端的照明，应用一个周期性的调制信号，并针对反射光测量相位差，以此来计算距离。cw-iToF可能需要多次相位差采样来获得结果。

登录/注册后可看大图

Cw-iToF方法示意，这里的c代表光速，f代表调制频率，∆ϕ代表接收信号的相位差

对于一些精度要求并不高的应用而言，cw-iToF方法的优势在于实施起来会更简单（但精度要求高时，cwToF信号调制实施难度也不小），其系统成本远低于dToF；而且cw-iToF具备较大的弹性、更快的读出速度，也比较容易做RoI输出这类功能。
但它也存在一个致命缺陷，从上图中的深度计算表达式可知，要获得更长的测量距离就需要更慢的调制频率（f），但这样就会限制距离精度。距离精度与背景光强度、信号强度、最大不模糊距离（c/2f）有关。在对象、背景光固定的情况下，反射信号强度随距离增加而下降，较远距离的对象测距就会有显著的精度降低。
所以除了苹果之外，市面上现有搭载了3D ToF模组的手机测量距离普遍是比较受限的。ams大中华区应用市场总监Bing Xu博士也提到了这一点。“iToF往往采用泛光投射，其距离和精度这对矛盾，在原理上很难调和。”
“iToF在不同距离下，精度是不同的，基本上是线性递减。可能测1m的时候，精度是10mm或20mm，但距离在2m的时候精度就只有40mm。”Bing Xu博士说，“传统的iToF做不了远距离，最多2、3m，绝对不能超过5m。”“但dToF是直接测来回时间，一个脉冲出去到回来，是直接的测量方法。直接的测量方法可以测得很准，跟距离长短没什么关系。”
不过实际上，多调制频率方法是可以缓解cw-iToF的这一问题的，只不过系统复杂度会增加。除此之外，cw-iToF方法相比p-iToF和dToF，也更容易受到多径效应（Multipath Effects，主要是基于调幅连续波的ToF）、解调错误（如场景对象的光散射、材质反射率低等）、运动伪像等的影响。
另外从系统的角度来看，cw-iToF通常采用多调制频率下相关函数的多次采样，再加上多帧处理，后端信号处理的复杂度会比较高。所以发布会上也提到，dToF比iToF在做3D渲染时会快很多，“三维重建过程中，整个系统运行、算法运行的时间会有很大的优势。”

那么dToF为何一直没有普及

dToF对上述很多问题都不敏感，包括前文提到的原理更简单，距离精度不会随测量距离衰减，也更容易发现多径反射问题。但dToF在消费电子产品的3D感知应用上却很少，主要是因为其成本更高。技术层面，dToF对于发射端的光源、接收端的传感器，还有实现同步、时间检测相关电路要求也高。
而且dToF由于传感器电路设计相对复杂，包括淬火电路、像素内TDC（time to digital converter）等，似乎很难做到高像素（接收端传感器分辨率）——虽然这两年通过3D堆叠等技术正在实现各种改进。所以dToF此前一直局限在诸如激光对焦之类的单点测距应用上。像iPad Pro 2020这样应用3万像素dToF方案的设备此前是真的很少见。

登录/注册后可看大图

ams在发布会上给出一张dToF与iToF方法的简单对比，从距离精度、动态范围、环境光抑制、分辨率、功耗、后处理功耗、抗干扰能力等角度做了比较，前文大致上也提到了。单就这些项目的比较来看，dToF主要在“分辨率”——也就是XY平面上的精度，会相对较弱。
不过ams产品线高级市场经理Sarah Cheng提到：“以现在流行的增强现实AR为例，低功耗和远距离成为更重要的技术指标，相较之下分辨率的要求其实并没有那么强烈。”ams这次所推的方案，在应用场景上也更偏AR。

登录/注册后可看大图

上面这张图是不同的应用，对于分辨率、功耗、测量距离这三个指标的不同要求。”其中影像增强对分辨率要求更高，而AR则对距离有更高的要求。“AR对3D摄像头分辨率要求其实并不是很高，一方面可以避免过长的重建时间和功耗，而且低分辨率可以通过帧累计补偿。” Sarah Cheng说。
Bing Xu博士提到：“我一直认为每项技术，要看具体的应用。总能找到适合的应用方案，无论是dToF还是iToF。我们说dToF，特别是在AR这个应用里面，在距离、精度、功耗方面是有绝对优势的。”那么就来看一看，ams这次所推的方案究竟是什么样。

ams的3D dToF方案

ams的这套3D dToF方案在 MWC上海展会上已经有了展示，且发布会上的演示效果上佳。先来看看这套dToF方案的一些关键参数：

登录/注册后可看大图

包括1200个深度点，以及室外5m、室内10m以上的检测距离；在全测量距离内<8mm的距离
；帧率最高100fps，在30fps帧率下功耗<300mW，“这对手机平台就非常友好”。
从上图也可见，系统分为两个模组，包括高功率照明模组，以及SPAD 3D摄像头模组——即发射端和接收端。照明模组主要是VCSEL激光器——这是ams的传统强项了，包括多结VCSEL实现极高的峰值功率，还有VCSEL驱动器系统，针对超短脉冲的优化连接，实现高距离精度，以及低EMI辐射；整体组成还有配套的点阵光学系统（包括衍射光学器件等）；以及SPAD传感器——dToF常见的一种光敏器件，一个光生载流子就能触发大量雪崩电流。
且两个模组分开，“手机厂商设计整个系统时，有更大的灵活性，在主板上做零部件的排列和设计。” Sarah Cheng说。另外还包括一些周边的特性，如光源需要确保人眼安全相关的电路等。
ams方面列出本次所推3D dToF方案的几个主要特性包括：
•    在所有光强条件下（强光，弱光，室内，室外，较复杂的环境光等），在恒定分辨率下可实现较大的距离检测范围和较高的（不变的）距离检测精度。其中“所有光强条件”也是绝大部分ToF方案的宣传点，包括对背景高光的抑制技术。
•    高环境光抗扰性，与市面上提供的3D ToF解决方案相比，“峰值功率高出20倍”；
•    针对移动设备，优化最低平均功耗，特别针对房间扫描距离范围内高帧率（>30fps）运行环境。
从这些特性也可见，这套方案的应用偏向功耗敏感的移动设备，但同时又需要为这样的设备赋予比较可靠的AR能力。
针对移动设备后置3D dToF传感的完整解决方案中，还包含了ArcSoft的中间件，结合RGB摄像头输出将depth map转为精确的场景重建。再上层还有ArcSoft软件，将3D图像输出与移动设备显示屏结合，提供AR应用。“降低手机厂商集成的复杂度和工作量”，“与Android操作环境集成，让移动设备OEM能够直接集成新的dToF功能”。
单就3D dToF光学传感解决方案来说，这一直是ams的长项。ams大中华区销售与市场高级副总裁陈平路在会上提到，“从我们的技术平台、产品平台基础上发展起来的解决方案，光学传感器系统的解决方案，包括算法、软件，目前我们认为在光学传感器领域，我们应该说是唯一的一家可以提供全平台解决方案的这么一个公司。”表现在这套“垂直链的光学元器件技术，完全是从ams来的。”此前我们见到很多来自其他厂商的ToF和结构光模组方案，也都能见到ams提供的组成部分。

3D ToF的应用方向在哪儿？

Sarah Cheng在会上演示了一个demo，是这套方案的完整体现（包括ArcSoft的中间件及软件算法），也体现这套3D dToF方案实际相比iToF的优势。

登录/注册后可看大图

相比一般的iToF，dToF在3D渲染过程中提供了更高质量的深度图，演示中有更精细的3D网格细节：包括覆盖范围更广，渲染速度更快；对于弱光环境、对象边角、纹理特征不明确的光滑平面等，dToF表现也远优于iToF，从深度信息的精度到渲染速度。
另外Sarah Cheng也演示了这套方案在多径干扰消除方面的优势，能够更好地分辨弱光环境、复杂对象的前后关系。这些与前文探讨的dToF与iToF两者的特点相符。这让我们对明年Android移动设备逐渐普及3D dToF方案更为期待。
事实上ams并没有在这场发布会上具体去谈，ams是如何在技术层面实现这套方案面向移动设备的大规模量产和应用的；以及ams在这个过程中究竟解决了哪些技术难题。不过这套方案必然需要在3D dToF的成本、功耗、距离精度、分辨率等参数上做出权衡，尤其是在成本不会很高的前提下确保性能，令其适用于移动消费电子设备，这是大方向的难点所在。Bing Xu博士也在讲话中提到，“我相信随着量的增加，工艺性能提高，以及ams本土化计划推进，价格成本就会往下降。”

登录/注册后可看大图

最后比较值得关注的话题，还是落脚在消费类的移动设备搭载此类3D感知方案，究竟能够用来做什么。毕竟这才是像ams这样的3D dToF方案能不能普及的驱动力。
事实上，3D ToF在手机和各种移动设备上始终没有什么杀手级应用。现有的一些3D ToF方案在手机上的应用可能包括成像增强，例如利用深度图来做对焦辅助、背景虚化，或智能美颜等。此前有评论认为，3D感知实现的智能美颜可能会成为ToF市场需求的杀手级应用，但事实上也并未如预期。
对此，Sarah Cheng表示：“很多手机厂可能在一些平台上搭载过ToF后又弃用。其中一个关键因素是，ToF本身带来的成本压力，以及它为用户带来的收益很有限。这是因为iToF技术上的限制，导致大家对ToF接受度有限。”前文提及，dToF相较iToF有诸多方面的优势，“使手机后置的一些像AR这样的应用更加多元化，促使手机厂商去采用这样的技术。”以前“dToF门槛高，能选的方案上不多。”
“就我们现在的计划来看，2021年底先以智能手机为目标平台，第二波会慢慢延续到AR设备，比如AR眼镜等产品上。” Sarah Cheng说，“最新版iPad Pro和iPhone的出现，搭载的dToF技术的深度相机已经成为3D视觉在消费场景的应用推动了新的机会。”
“引用他们的一句标语，‘Pro级摄像头打通了真实和虚拟的交界’，在我们看来，这是未来手机后置3D应用的大趋势和核心，也就是更加沉浸式的AR用户体验，逐渐融入现有的各大游戏、社交、网上购物、室内装潢、AR导游地图等线上应用平台和软件。”
Bing Xu博士还补充说：“我们首先会推消费电子类，这个市场很大。从消费电子推到工业界，各种各样的工业界，只要测距离、测体积，需要3D建模的我们都会去推。”