汽车、机器视觉和边缘AI中要用到的感知策略和方案

shuszhao

汽车行业，是一个非常传统的行业，但最近几年由于电力化和智能化，使这个行业产生了新的动力。特别是各种感知产品的应用，使汽车变得更加安全和舒适；机器视觉也是一个很历史悠久的行业，因为工业4.0时代，再加上自动化、人工智能的导入，使这个行业有了新的动力、新的活力；边缘人工智能则是新兴市场，主要是由人工智能、5G、IoT等新技术导入后开发出新的应用。
从第一次工业革命机械化，到第二次工业革命电力化，到第三次工业革命计算机数字化，到现在第四代工业革命人工智能化、信息化。人工智能对人类社会方方面面的影响和改变，将远远超过计算机数字工业革命。
“人工智能之父”Andrew Ng是斯坦福大学人工智能专家，他认为人工智能就像第二次工业革命的电力，将给整个人类带来的一次深入的变革。数据则是人工智能的动力和发动机，感知是数据的燃料。

广告

“汽车、机器视觉和边缘人工智能，这也是我们的三个主要市场方向。” 安森美半导体智能感知部全球市场和应用工程副总裁易继辉说到，“我们在包括图像感知、多光谱/高光谱感知、激光雷达感知、毫米波雷达感知、传感器融合等深度感知领域做了很大投入，来推动AI和第四次工业革命的进步。”

                               
登录/注册后可看大图

安森美半导体智能感知部全球市场和应用工程副总裁 易继辉（Sammy Yi）


汽车感知面临的挑战和机遇

未来的汽车，是一个架在四个轮子上、具有极其强有力的感知能力的计算机。从过去这些年我们可以发现，现在最好的汽车感知系统已经远远超过人类的感知，能够实时、不知疲倦地监控周围环境，这是人类驾驶员远做不到的。

                               
登录/注册后可看大图

鉴于汽车感知能力的提升、自动驾驶技术的日益完善以及共享汽车等新模式的出现，现在汽车的可靠性已经不仅仅要求像现在这样一天开两三个小时，多数时间停在车库里了，而是大多数时间都在开，只有一两个小时去充电、做维修。然后还有对汽车自动驾驶功能安全，以及网络安全的要求。
这些新要求，也为汽车成像带来了很多挑战。一是宽动态，在强光下或从暗到亮，如果宽动态不够，可能根本没有办法看到；二是环境条件，车要能在东北零下几十度的环境开，也能够在沙漠开或者南方高温条件下开；三是对图像传感器来说很独特的挑战，辨别各种LED指示牌、交通灯，这种LED牌对人眼来讲非常舒服，特别是夜晚很明亮，但LED闪烁频率没有标准，图像传感器有时会因为频率不同步，捕捉不到信号。对驾驶员人眼来看没有太大问题，但对机器视觉就是很大的挑战。“过去的方案都是用软件来解决，现在已经做到芯片级的硬件解决方案了。” 易继辉说到。

                               
登录/注册后可看大图

上图是一个图像传感器的示意图，一共有六层，都是由半导体制成。易继辉认为，市场上有一个误区，认为GPU和CPU是半导体里挑战性和难度最高的，但实际上图像传感器才是最难的。因为“GPU和CPU要对付的主要是电子（Electron），但在图像传感器里，既要对付电子又要对付光子，光子和电子的结合使图像传感器变成非常复杂的半导体。未来甚至人工智能都可以直接放在图像传感器里。”

                               
登录/注册后可看大图

上图解释了为什么宽动态非常重要。左边是宽动态不好的情况下，照顾了暗的部分，亮的部分就看不见了。而右边在宽动态好的情况下，暗的亮的都看得清楚，这才能够给人工智能算法提供准确和全面的信息，做出准确和安全的判断。

                               
登录/注册后可看大图

大家也经常碰到对面来车开远光灯的情况，十分讨厌。如果车灯在这个场景下的宽动态范围是102dB，而传感器只有70dB，可能就看不到来车旁边的行人或物体，导致车祸。这时候用110dB的传感器就可以避免这场悲剧。另外在几乎没有灯的夜视场景下，是否有搭载近红外+（NIR+）技术，对于夜间行车是一个是看得见，一个是看不见的天壤之别。

                               
登录/注册后可看大图

智能驾驶舱也是目前国内越来越重视的一个应用。驾驶员监控的应用越来越广泛，包括驾驶员的识别，分辨出这是先生还是太太后自动调节车椅、后视镜的位置，空调的温度，甚至喜欢的电台都可以自动调整；乘客监控也有不少应用，例如在美国经常出现家长把小孩或者宠物忘在车里了，借助乘客监控，你离开车后会自动提醒你在车里忘记了什么东西。

                               
登录/注册后可看大图

据介绍，针对智能驾驶舱解决方案，安森美有两款百万像素的IVEC模组，在业界非常受欢迎，其中AR0144AT是整个业界用量是最大的一款。智能驾驶舱普遍面临的设计挑战是，目前的摄像头尺寸太大了——18×18cm3，最小的也要3×3cm3，“我们和合作伙伴一起开发了0.5×0.5cm3的小型摄像头，放在车里乘客、驾驶员基本上都不会看得到。”易继辉说到

                               
登录/注册后可看大图

成立6年，却有40年的“内功”？

易继辉表示，安森美半导体不只提供单一产品，还提供包括二极管、LDO、电源管理IC在内的硬件整体方案。所以在设计下一代图像处理器时，可以和公司其他产品部门合作开发配套的电子产品、器件，使摄像头性能最优化。据介绍，安森美其他元器件的车规、功能安全已经能够实现ASIL-B程度，所有元器件都按照公司统一的质量体系，拥有统一的可靠性能。

                               
登录/注册后可看大图

安森美目前已经开发超过50家合作伙伴，从光学镜片到信号处理器，I/O、Interface接口、SoC处理器、软件系统。
据介绍，尽管安森美半导体的智能感知部成立只有六年，但公司在图像传感器行业却已经有超过40年的历史。主要通过几次重要战略性并购茁壮成长，例如：前身是柯达影像的TRUESENSE，核心技术来源于贝尔实验室CCD影像；前身是美国航天宇航局JPL喷气式推动器实验室的Aptina，1993年曾为阿波罗登月开发出全球首款CMOS图像传感器。从三年前开始，安森美半导体又陆续收购了IBM在以色列的毫米波雷达研发中心，以及专注于飞行时间（ToF）激光雷达传感器开发的爱尔兰公司SensL。

                               
登录/注册后可看大图

根据日本第三方市场调研公司TSR（Techno Systems Research）的调研结果，图像传感器在汽车领域主要分为两个市场——汽车成像和汽车感知。汽车成象应用主要是给人眼看的，如驾驶员、乘客、后视、环视、电子后视镜，安森美在全球占大于60%的市场份额；汽车感知则是给人工智能和机器视觉用的感知系统，安森美在这个市场占有率大于80%，并在逐年扩大。
易继辉透露，安森美2019年在汽车市场销售了近一亿颗传感器，而全球汽车销售量在6,500万辆。


中国的自动驾驶

中国国内自动驾驶分级和国外基本接近，都是六级，从L0到L5级别逐渐提高，自动化程度逐步扩大。最大的分界点是从L3到L4，主要区别在于L3在一些极限场景下需要驾驶员自己来操控，L4理论上驾驶员完全不需要操控，全是由机器来操作。

                               
登录/注册后可看大图

简单地讲，L1、L0是什么都没有，L1英文叫做脱脚（feet off），脚可以不踩油门刹车了；L2是脱手（hands off），手可以放开驾驶方向盘；L3是eyes off，驾驶员的眼睛可以不用看了，只是汽车给你警告时要转回来；第四级是mind off，脑子都不用想了，因为连方向盘都没有了；第五级叫做limit off，已经没有任何局限的场景，任何场景都可以自动驾驶了。
从L1到L5，不管是传感器数量还是种类都不断地扩大增加。最大的差别是L3和L4之间，L4一定需要激光雷达，而L3很多公司都不会用激光雷达，只作为一个可选项参考，因为它的成本非常高。这也是过去业界讨论后的结果。至于自动驾驶是从L3逐步演变到L4，还是直接跳到L4？
易继辉的看法是，如果公司目标是最终达到L4，那么现在就要按L4的方法设计自动驾驶系统，而不是先设计L3再来改进，因为L3和L4中间有很大的鸿沟，很难在L3架构上逐渐改善实现L4。
最主要的原因是L3中驾驶员仍然需要控制汽车，极限场景下还是要靠人。所以不光在自动化设计的程度上，还是感知数量和种类的应用上，都要考虑到成本的问题，人工智能算法、计算平台都是为了有局限性的自动驾驶，而不是所有场景。L4因为完全不需要考虑到驾驶员，所以一定要用激光雷达和高清地图。这是两个完全不一样的平台，L3就像加减法，L4是微积分：加减法永远算不出极限，只有微积分才能算出它的极限值，也就是在L4的情况下，才能涵盖所有极限的情况。

                               
登录/注册后可看大图

从国内自动驾驶的趋势来看，国内一些整车厂推出的高端品牌车上，已经有L2、L3的功能。跟国外有一点不同的是，国外特别是欧洲的L2、L3也就是先进驾驶辅助系统（ADAS）的大批量使用和成长，是由法规和安全标准驱动的，而不是由消费者或车厂驱动。
目前，国内没有相应的法规和安全标准来要求，车厂主要精力放在创造自己的技术和品牌效应，但消费者接受程度还不统一。在美国就完全不一样，有时候车主对汽车自动驾驶太相信了，L2的车当L4用，也因此发生了不少车祸。
对于L4、L5自动驾驶，易继辉认为现在落地的商业模式已经很清晰，“以前一开始以B2C的形式走消费类私家车，但现在国外很多整车厂的一些私家车L4项目或者是暂缓，或者是已经停下来了。现在基本上是走B2B，先以商业车的模式来落地。”
原因是目前智能感知系统成本非常高，只有商业车才能承受得这样的成本，私家车一天开两个小时，平时放在车库，是完全没有办法支付成本的。商用车主要分为几类，一是自动驾驶的出租车（Robotaxi），国内发展的速度非常快，完全不输美国，而且国内的很多自动驾驶车厂都是同时在美国拿到了许可证，且在中国和美国两地都有研发中心。结合《电子工程专辑》过去的报道看，国内现在已经有18个城市签发了自动驾驶许可证，将近500辆全自动驾驶的出租车在路上测试，光百度就有将近200辆。
二是物流机器人，在新冠状病毒疫情以后，物流机器人的应用越来越普及，特别是在一些小区、校园、工业园区、医院、机场。
三是大型商业车，因为高速上很多恶性事故都是大车造成的，特别是驾驶员的疲劳。传感器装上后可以360度实时监控，感知能力不亚于驾驶员，所以商用车自动驾驶已经逐步开始。易继辉称根据市场调查结果显示，安森美在这个领域的市场份额是80%，在中国市场更是占了90%。


工业机器视觉和边缘人工智能

随着工业4.0和自动化的深入，人工智能使机器视觉市场快速发展，边缘人工智能不断应用在一些新领域，比如新零售，智慧农业、畜牧业和农业都开始了智能化。

                               
登录/注册后可看大图

而新冠疫情后更是出现了几大趋势，一是远程化，远程教学、远程医疗会越来越普遍；二是无人化，例如无人送货车、无人商店，减少人和人之间的接触，即无接触化。
说到工业机器视觉，就不得不提平板检测，它是对图像传感器最有挑战性的应用。尤其是近些年，从1K、2K、4K一直到8K，像素在逐渐扩大。检测过程分两步：第一步是暗检测，上电前主要检测一些指纹、划痕和其他物理上的问题；第二步是上电以后对像素点的检测，特别是针对OLED和最新的AMOLED（Active Matrix OLED）。

                               
登录/注册后可看大图

众所周知，LED有一个亮板在后面作为发光源，而OLED的每个像素都是一个单独发光源。像素和像素之间发光的强度和色彩的均匀度都要能够很准确地侦测出来，过去检测LED面板上的1颗像素，对应需要9颗像素（3×3），OLED则对应需要16颗（4×4），甚至25颗（5×5）像素。所以对图像传感器的像素要求越来越高，从4,500万要到1.5亿像素，甚至超过2亿像素。
另外在工业上，图像传感器还被用于监控/广播、PCB检测等。
那图像传感器这几年的发展趋势是否跟得上呢？下图以1.3英寸固定尺寸的图像传感器发展趋势为例，可以看到图像传感器的分辨率在逐年提升；二是噪声导数，相当于图像质量，随着像素的增大也是不断地提高；三是带宽，也是在逐年提高。一个很好的例子，29×29mm2标准的工业用摄像头，在十年以前可能只是200万像素，后来逐渐增加到300万、500万、1200万，今年已经能够用到1600万像素。

                               
登录/注册后可看大图

一些关键技术的进步也是很有意义的：
[blockquote]

[li]全局快门，可在高速运动下使图像不会有拖影；[/li][li]像素内校正，以前都是在系统里通过软件校正，现在可以直接做到硬件里，在像素内部去做图像校正；[/li][li]工艺节点，从110纳米到65纳米，再到45纳米，甚至更小，充分利用了摩尔定律的优势，即成本、尺寸、耗电量都在逐年下降；[/li][li]背照式（BSI），由于在同样尺寸下，分辨率越来越高，像素尺寸可能越来越小，可能导致暗光下感光量、感光度降低，背照式可用来提高感光能力；[/li][li]堆栈架构，告别两维架构，进入三维空间后，堆栈式、两次堆栈、三次堆栈都有可能实现。[/li]

[/blockquote]“以后我们不光可以把模拟和数字信号放在第二层，还能把人工智能算法放在第三层，让图像传感器变成高智能化的图像传感器。” 易继辉畅想到。


3D成像、高光谱和多光谱成像

易继辉表示：“3D成像、高光谱和多光谱成像都是安森美未来的方向。现有的方案都是在系统上解决，而我们的想法是把这些困难和问题在半导体层面，用摩尔定律来解决。一旦能够用摩尔定律解决问题，自然就带来了降低成本、缩小尺寸、降低功耗的好处。”
针对深度成象（3D），几年前安森美已经开发出了相位检测方案，在像素上面做一些改动，可以在1-5米内做到1.1%到2%精度，同时可以提供深度和色彩等图像信息。原理就是通过在图像传感器上做一层衍射光栅，使它的相差能够分离出来，形成深度的信息。
而ToF则有两类，一类是iTOF，即indirect ToF；一类是dTOF，即direct ToF。安森美的方案是远距离的dToF，利用单光子雪崩二极管（SPAD）和硅光电倍增管（SiPM），将光子发出去后再接收回来，能够非常准确地判断出远处物体的距离，距离能够达到250甚至300米以外。而iTOF一般是间接计算出距离。

                               
登录/注册后可看大图

高光谱和多光谱成像方面，安森美也是在半导体层面来解决光谱分离的问题。等离子波导滤波片技术分离出来光谱不是那么完整和精确，但是有一些应用场景是适合的；法布里-珀罗（F-P）分光滤光片是在半导体上加了一些反射镜，它可以把光谱非常准确地分离出来，但成本和可靠性都有一些问题。


激光雷达

机械式雷达使用的传统技术是雪崩光电二极管（APD），它的缺点是体积大、功耗高、侦测距离范围有限、一致性不好。一般的机械式雷达保质期只有一年，因为它需要不断旋转，所以损耗很大，而且现在产量还比较小，不能够大批量生产。

                               
登录/注册后可看大图

安森美激光雷达采用的技术叫做硅光电倍增管（SiPM），由SPAD集连而成，采用同样的工艺。安森美半导体智能感知部大中华区市场总监 郗蕴侠博士（Yolanda XI）介绍道，“它的优势在于增益是APD的1万倍，灵敏度是APD的2000倍，工作电压要求只要30V，而APD要250V。另外，它的一致性非常好，利于大批量生产。”

                               
登录/注册后可看大图

安森美半导体智能感知部大中华区市场总监 郗蕴侠博士（Yolanda XI）
郗蕴侠表示，在很多行业尤其是汽车行业中，安森美半导体是最早给客户提供SiPM和SPAD工艺技术的。该技术已在医疗方面大量应用，且已是量产状态。对比其他竞争对手而言，该技术的重点在于：
[blockquote]

[li]车规化。现在之所以很多激光雷达可靠性不高，是因为没有车规化里面的器件，所以整个系统也达不到车规化，需要在半导体层面上解决这一问题。[/li][li]安森美半导体推出的RDM，“M”代表Micro Lens微镜，本来这个微镜是用在图像传感器上的，但现在用在了激光雷达上。好处在于，在激光雷达的探测器中有个特别重要的指标：PDE，即Photon Detection Efficiency（光子探测效率），它相当于图像传感器QE指标。这个指标越高，就说明它的光子转化成电子的效率越高。在RDM系列中加了微镜技术以后，它的透光率就更高，转化出来的PDE提升也非常高。[/li][li]采用成熟CMOS工艺。如果出货量上到万的等级，以前的APD技术都不可能用人工标定。而CMOS工艺可以达到真正的低成本、低功耗，以及优化尺寸等等，能实现激光雷达真正的落地，车规化的落地。[/li]

[/blockquote]

                               
登录/注册后可看大图

安森美在激光雷达上也提供整体的、系统的方案

毫米波雷达

毫米波雷达的适用范围囊括了自动驾驶的L1、L2、L3、L4、L5级别，在不同级别上有不同的应用。易继辉表示，安森美下一代毫米波雷达的重点放在L3上，使用的技术叫做“MIMO+”，能够提供四维（4D）信息（R是距离，V是速度，A是角度，E是高度）。

                               
登录/注册后可看大图

易继辉表示，MIMO+和竞争对手的技术相比，要多一倍的通道，也就是说同样性能的毫米波雷达，安森美方案可以节省50%的mmIC器件，还能减少优化控制器、线路板，降低总体成本。同时，安森美也会开发雷达信号处理，并且按照行业标准定制对外联接接口，不管是现有标准还是未来发展标准。
郗蕴侠表示，安森美现在已与大中华地区的一些重点客户开展毫米波雷达项目，向他们提供了一些芯片，客户产品已经处于研发阶段。

                               
登录/注册后可看大图

一张图表总结安森美在汽车感知上的产品阵容。

sun5304

  

maogege-chen

red_chen

这是个突破，感觉可以

sekisan

  

热带雨林

lqsgg

  

记好586

rain-fine

  

罗塘阮经天