当遇见机器视觉和AI，图像传感器应具备哪些素质？

shuszhao

索尼作为全球最大的CIS供应商，于2020年年中推出过两款“智能视觉传感器”（IMX500与IMX501）。当时索尼宣称，这是全球最早加入了AI处理能力的图像传感器。这两颗传感器的本质，就是集成了边缘AI处理部分——或者更明确地说，是加入了DSP逻辑芯片，其中也包含AI模型所需的临时存储空间。
这类设计的本质是将部分“后处理”所需的能力，集成到了图像传感器这个更靠近“前端”的部分。这样一来，录制视频就能进行相对更高精度、实时的对象追踪。
事实上，在2020年初的ISSCC大会上，法国一家名为Prophesee的公司就和索尼一起联合开发了一款CMOS图像传感器（以下简称CIS）。Prophesee称其为“基于事件的系统”，是将“更多的智能带到边缘和端点”。其本质也是采用die堆叠的方案，集成了AI能力的CIS。当时EE Times美国版称其“开启AI感知的潘多拉魔盒”。

广告

这种将部分处理能力集成到CIS层面的趋势，其实在我们此前的部分文章中也探讨过。不过我们另外注意到，国内的CIS制造商思特威（SmartSens）也很早就开始了这方面的市场布局：2019年4月，思特威推出“SmartSensor”AI智能传感器芯片平台概念。
思特威的官方介绍中提到，“SmartSensor平台旨在通过人工智能算法与先进传感器技术相结合，以开发下一代‘智能传感器芯片’，从而推动包括物联网在内的人工智能技术应用发展”。
思特威创始人兼董事长兼CEO徐辰博士，在接受我们采访时提到：“随着人工智能的不断发展，在各种智能视觉应用的辅助下，人们的生活变得愈加便捷和高效。思特威秉持着‘帮助人们更好地看到和认识这个世界’的愿景，始终着力于开发更加智能化、适用性更广的AI智能芯片平台。”
“通过将算法前置到芯片级来解决人工智能运算中的传输和实时性的瓶颈问题，能为未来AI领域、自动驾驶以及机器人的发展提供强有力的助力。”徐辰博士说。
事实上，以思特威这家公司一路所推产品和技术为依据，就更能理解机器视觉以及AI，在CIS这个层面意味着什么。本文尝试以呈现思特威在CIS领域的技术特色，来简单谈谈在机器视觉的发展过程里，CIS是如何演进的。这也是我们了解机器视觉究竟需要怎样的CIS的一次机会。



BSI与全局快门CIS

2018年年末，思特威参加了日本工业成像协会组织的2018日本横滨国际机器视觉展（ITE 2018）。思特威在这一年的展会上展示的主要是基于AI智能方向应用的SmartGS系列产品。
SmartGS系列CIS产品特色在于全局快门（Global Shutter），外加BSI（背照式）像素结构。全局快门和BSI，应该是贯穿了如今思特威CIS产品的两大重要特性。
在此基础之上，实现信噪比、灵敏度和HDR方面的能力扩展，“能够在瞬间捕捉快速移动物体的关键图像数据及完整细节特征，为AI算法提供核心可靠的数据来源，有效增加了AI应用的场景适应性。”此外，ITE 2018之上同时展示的SmartClarity系列CIS，除了BSI像素结构外，也藉由更大尺寸的CIS（及单像素面积），来提升低光照环境的可视性，“有效帮助机器视觉算法在这类恶劣光照环境中的应用落地”。
简而言之，即是在CIS的光电感应die部分，通过各种技术加持让CIS看得更清楚——这是后端数据处理的基础。这一点无论是安防、工业还是汽车领域，都是通用条件。无论是更大的CIS尺寸，还是BSI、全局快门，亦或后文要谈到的更多技术，其本质都是让CIS看得更清楚。
徐辰博士强调：“思特威在2017年就以前瞻性的眼光开始布局全局快门技术的研发，并于2018年就发布了全球首款基于BSI像素工艺的商业级30万像素全局快门CMOS图像传感器——SC031GS，成为率先进入‘消费级机器视觉’应用领域的CIS企业先锋。
虽然我们并不清楚思特威在实现BSI像素结构，以及全局快门CIS的具体技术特点，不过本文仍期望花一点笔墨来谈谈这两项技术的本质。
图1
BSI（Back-Illuminated）即背照式图像传感器。我们曾在此前的多篇文章中解释过这种技术：在传统的FSI（Front-Illuminated）前照式图像传感器上，像素的金属连线位于光电二极管前方——光线在抵达光电二极管之前，首先需要穿过这些金属电路，部分光线可能被反射或遮挡，这就降低了量子效率。
因此随工艺的改进，BSI CIS是在制造过程中，通过翻转wafer将这些金属电路置于光电阴极层之下，光不需要穿过金属层就能撞击光电阴极。如此一来，入射光子就有更大的几率被捕获（图1）。不过这么做也会带来一些问题，比如说串扰——带来噪声、暗电流等；wafer变薄也令其更脆弱，这些自然需要改进的制造工艺来解决。
但总的来说，BSI结构能够带来更出色的低光可视能力；整体光学系统设计也会更具弹性；以及可促成更快的读出率。与此同时，BSI获得更高的量子效率，副产品包括促成更小的CIS尺寸、更高的分辨率。BSI技术真正走向成熟，应该是2009年光电二极管材料与制造工艺有了相应的突破之后。
思特威在BSI技术的采用方面，与制造环节应该也有着不可分割的关联。事实上，此前思特威在相关BSI的像素结构变迁上，似乎也有相应的历史可谈。因为篇幅的关系，这些或许在未来我们可与思特威再做更深入的探讨。
图2
而在思特威全局快门CIS的技术实现上，可参考的资料也比较少。我们并不清楚思特威具体是如何实现CMOS图像传感器的全局快门的。有竞争对手的实现方式，从大方向上来说是BSI+堆叠die的方案：每个像素都有其各自的ADC，堆叠在感光die的下方，则所有曝光的像素可同时读出，而不像传统CIS那样需要逐行读取——因为传统的CIS通常采用列并行的ADC。
全局快门能够避免卷帘门效应——因为当逐行读取时，其中的时间差可能造成在拍摄高速运动对象时的画面失真（图2），因为更靠传感器上方的像素会比底部的更早读取。逐行读取也可能导致某些人造光环境下的带状伪像。
这种全局快门方案其实也会面临比较大的技术挑战，包括像素密度可能受限，更为复杂的电路也会提升成本，还有可能更大电流的需求，以及读取噪声的增加等。
另外还有一种CIS全局快门的方案，是传统滚动快门（rolling shutter）的全局重置模式，或者全局曝光同步。每个像素也在相同时间开始电荷载流子的积聚——读出仍然是逐行进行的，不过每行有个时间上的补偿。这类方案的工作周期/区间其实会相应减少，而且有时存在移动物体图像采集模糊的问题。某些问题可以通过结合闪光、环境光抑制的方式来改良。
当然以上只是对全局快门技术的一些简单阐述，思特威更具体的全局快门CIS技术细节是未对外公开的。TechInsights此前曾针对思特威SC130GS做过die剖析，可惜这份报告售价高昂，TechInsights也并未免费公关任何细节。


更多CIS层面的技术

说到底，BSI与全局快门CIS仍然属于我们相对耳熟能详的技术——只不过其中的很多实现细节，在不同厂商间应该会有差别——这些差别也才是这些市场参与者竞争的关键，我们很难做深入。不过除此之外，思特威还有应用于CIS的更多技术。
图3
徐辰博士针对SmartGS系列CIS补充说：“作为一家以创新科技为核心发展力的科技公司，思特威继而发布了2nd Gen SmartGS Technology，通过提升pixel size来增加感度和暗光效果，提升率可达30%，另一方面采用并行电压域读取，大大提升了最大快门速度，完善对高速运动物体的清晰抓拍。基于全新的电容工艺，2nd Gen SmartGS Technolog的读取噪声可降低一倍以上，同时兼具区域 HDR技术，可大大提升特定位置的动态范围，解决了夜间拍摄信号灯成像过曝等问题。”
而且下一代技术也已经在筹备中。“思特威下一代SmartGS技术即3rd Gen SmartGS® Technology从性能将上比2nd Gen有更大的进步，而此项技术预计将于明年面世。”相关的参数可以在图3中看到，其中像素结构、噪声水平、哦动态范围、峰值量子效率等都有可见的提升。
在此多提一下思特威的SFCPixel技术，这是像素电路结构方面比较具体的改进，徐辰博士也在采访中提到了这项技术的本质。思特威官网对此有一段比较形象的技术解读：
图4
图像传感器上的PD（PhotoDiodes）利用光电效应产生信号；通过传输门TX（Transfer Gate）导入到存储单元节点FD；之后通过PD周围的SF（Source Follower）将存储单元FD（Floating Diffusion）的电压放大并输出。这是PD感光的一般原理。
“这就好比我们有两个杯子，其中一个底部较宽，而另一个比较窄。当在拥有相同电子数量的情况下，底部较窄的杯子能够被装填得更高。所产生的电压也越高，因此能达到更高的灵敏度。”而SFCPixel技术，就是“SF中置像素技术”（图4）。将SF放置到PD中央的位置，使其更接近FD，也就能够在同等电子下获得更高的电压。
更多技术在此不再多做展开——因为我们掌握的技术细节有限。比如说PixGain HDR技术，官方描述提到“可实现兼顾夜晚弱光环境以及白日强光环境的高品质成像”，在没有运动模糊的前提下完成对快速移动物体的捕捉。我们猜测，这可能是一种双增益，外加可实时多帧合成的技术方案，以双“原生”ISO完成画面捕捉。上图中的第三代SmartGS家族产品参数中，在动态范围方面就应用了这项技术。
还有像是思特威的单帧HDR、多重HDR技术——从现有资料描述，可大致推断它们可能与隔行曝光的iHDR、空间复用曝光的zHDR有类似的原理（思特威的单帧HDR技术入选过2019 ISSCC，未来我们可做进一步的研究）；以及安防领域，除CIS的CFA色彩滤镜矩阵的RGBW（RGB+White）与RGB-IR（RGB+红外）排列，可能还应用了DTI深槽隔离这样的方案；再如思特威一直引以为傲的近红外增强技术，实现据说是业界最一流的850nm-940nm波段范围的量子效率等等。


当CIS遇见AI

前面这些都属CIS层面本身的技术改进，它们解决的问题是“看得更清楚”，无论是让汽车看得更清楚，还是让工业机器人或者安防摄像头看得更清楚，最终都要传递给后方做数据处理。这也是机器视觉实现的基础。
ISSCC2019大会上，思特威有篇被收录的论文A stacked global-shutter CMOS with SC-type hybrid-GS pixel and self-knee point calibration single-frame HDR and on-chip binarization algorithm for smart vision applications. 这篇paper中包括基于stacked BSI技术的全局快门、单帧HDR等技术，在前文略有提及。这其中的不少技术都是契合未来机器视觉与AI系统的发展趋势的。
而另一方面，如文首所述，2019年4月，思特威推出“SmartSensor”AI智能传感器芯片平台概念。
前文已经提到过，这类智能传感器的基本理念，是将部分数据处理过程“前置”至传感器端，这样一来就能降低数据传输延迟，节省系统功耗，减少网络带宽需求，降低系统硬件实现成本。从技术上来说，通过3D堆叠die的方式，将数据处理die与传感器die封装到一起——这也要求思特威与具备3D芯片制造工艺技术的合作伙伴进行合作。
思特威官网列举的一些应用中，用于智慧交通的传统4K传感器，在人口密集位置较难清晰捕捉人脸细节；而采用“SmartSensor”AI智能传感器芯片平台，就能突破这种桎梏。这是集成了计算能力的好处。
另外值得一提的是，2019年思特威在深圳举办的合作伙伴大会上，徐辰博士宣布了与更多合作伙伴之间的合作。会上提到，思特威正在研发下一代智能AI视觉传感器平台芯片，预备将智能化计算引入到传感器端，提升整个机器视觉系统的效率和性能。“计算”部分算法、IP部分显然是需要合作伙伴的支持的。
这都可以认为是CIS遇见机器视觉与AI之后，在这个时代的发展方向。徐辰博士提到，思特威“目前已与多家市场主流一线人工智能厂商开展了紧密的技术开发与商业合作，力求能够以出色的产品赋能各类智能应用终端”。而这个“平台”，想必也需要更多合作伙伴的加入。或许这也是国产CIS在更多领域实现弯道超车的机遇。

heming2216

  

wangy2000

sun5304

  

sea12103

  

lonelycolor

都看不懂