一颗AI视觉SoC是由哪几部分组成的？简析瓴盛JA310芯片

shuszhao · 发表于 2020-9-1 10:53:50

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区

您需要登录才可以下载或查看，没有账号？立即注册

×

作为一家在成立之初就颇具争议的企业，瓴盛科技上周在成都举办了一场“2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会”。瓴盛科技CEO肖小毛在会上说：“瓴盛科技在高通、大唐、智路资本、建广资产非常有远见有前瞻的视野下，在2018年经过商务部审批正式成立了，在2019年经过四川省政府、成都市政府的支持落地双流，同一年又成为发改委第二批重点合资企业之一，而且我们瓴盛是四川唯一的一家。”
这席话基本已经概括了其背景。即便资方令其话题性十足，这家公司还是在去年9月正式入驻成都双流的。
这次发布会主要发布的是JLQ JA310这颗AIoT SoC（以及定位相对更低的JA308）——瓴盛科技表示这是其首颗自主研发的芯片。我们恰好能够借助这颗JLQ JA310芯片，去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成，毕竟JA310在其中还是极具代表性的。

登录/注册后可看大图

重在AI视觉计算的芯片

先来看看这颗芯片整体配置与参数情况。瓴盛对于这颗芯片透露的细节是比较少的，我们可以结合当天发布会上，三星Foundry的主题演讲，来看看这颗芯片的大致构成。
JA310的基本参数如下表所示：

[li]CPU：Arm Cortex-A55 @1.5GHz x4[/li][li]ISP：单路4K@30fps；双路2K+2K@30fps[/li][li]视频编码：4K/1080p/720p @30fps[/li][li]视频解码：4K @30fps[/li][li]显示：1080p @60fps[/li][li]NPU：2 TOPS（1152 INT8 MAC操作？）[/li][li]内存：支持DDR3/L/4/LP4（32bit）[/li][li]闪存：支持SPI NOR/NAND/eMMC[/li][li]I/O：Ethernet（RGMII&RMII/MII）/I2S x5/USB2.0 x2/MIPI/LVDS/PWM/GPIO/UART/I2C/SPI/SDIO[/li][li]无线外设：适配主流Wi-Fi/4G/5G模组/其他外设完成BSP级别整合[/li][li]制造工艺：三星11LPP[/li][li]封装：15x15mm 493 Ball[/li]另外一颗JA308配置上的主要差别在视频编码支持降至最高2K，ISP部分配置稍低，电池管理单元可能会有差异。其余组成部分是类似的。

登录/注册后可看大图

虽然缺了很关键的功耗数据（只是提到11nm工艺相比28nm工艺功耗降低70%），但看起来这仍是主要应用于视觉计算的典型AIoT SoC，尤其其中的ISP（影像处理单元）和视频编解码处理能力，而且还有专门的NPU单元——也就是AI处理单元。
现在市场上会将AI专核称作“NPU”的主要也就是华为、Arm和三星，瓴盛并未提及这里NPU的IP来源，我们猜测可能是Arm。（高通的AI引擎并没有构成一个专核；联发科则将AI专核称作APU；苹果的AI专核叫NE）
我们去年曾经撰文分析过Arm的NPU IP，NPU本质上是专用的CNN卷积神经网络（与RNN递归神经网络）处理单元，很大程度上也是为了提升视觉计算的效率存在的。所以JA310/JA308的定位还是一目了然的。
瓴盛在列举其应用场景时也提到了智能安防、机器视觉（机器人/工业相机/ADAS辅助驾驶）、人脸识别、视频直播、智能显示（智能交互终端）；另外蜻蜓点水式地提到了对NLP自然语言处理的支持。我们在展厅现场看到了不少立体视觉（stereoscopy）解决方案，这类的确对算力有要求的视觉感知能力应用上，后文还会详述。

视觉与AI能力

有关这颗SoC，能探究的细节其实是很少的，毕竟官方给出的信息的确有限。我们尝试从有限的资料中，给出一些推测和信息量。
JA310的核心组成应该就是ISP、NPU与VPU（视频编解码）了。ISP部分前文已经提到，“双引擎”，支持双路2K+2K@30fps，或者单路4K@30fps的视频记录。瓴盛科技首席营销官成飞给出的PPT中，提到这颗ISP的一些功能，包括AWB（自动白平衡）、ANR（主动降噪）、3DNR（3D降噪，一种将空间与时间过滤器做结合的抑噪技术）、AI ROI（Region of Interest）、BLC（黑电平校正）、HDR等。

登录/注册后可看大图

这些其实都算是ISP pipeline上比较常见的特性，包括其中列举的视频宽动态范围处理；也是当代提供高保真影像数据，为视觉计算做服务的保障。三星应用于手机市场的Exynos以及高通骁龙SoC的ISP就基本都包含上述功能，也有“双引擎”的选择。或许在AIoT应用上，这样的ISP的确称得上是高规格。
将图像数据应用于AI算法，就要靠AI单元了。瓴盛称其为NPU，如前文所述，这可能是Arm的IP。市面上的某些AIoT芯片的产品实则没有AI专核，像高通这类厂商，更倾向于采用加强现有处理器（如为DSP加tensor核心），并结合GPU、CPU等单元做协同计算，而不是采用AI专核。
瓴盛在标称的数据上提到了这颗NPU的最高算力为2 TOPS。Arm现有的Ethos系列NPU产品中，虽然也有Int8算力达到2 TOP/s的一款：即Ethos-N57。不过Arm的NPU支持的数据类型普遍为Int8和Int16（而且MAC并行操作能力似乎也不大一样）。瓴盛JA310的NPU除了Int8和Int16外，似乎还支持FP16——看起来在影像处理能力上有更高的追求。

登录/注册后可看大图

海思的NPU应该是现在为数不多为FP16提供支持的AI专核。高通的AI引擎，在DSP层面也并未对FP16数据类型提供支持，FP16运算靠的是GPU；三星与Arm的NPU亦如是。不过成飞也提到了这颗SoC在AI算力上，通过NPU+CPU+GPU协同的方式进行——Arm NN框架就支持这种能力（虽然Arm NN其实也支持第三方NPU IP），这里的FP16也可能是GPU提供的能力。瓴盛在资料中并未给出JA310的GPU规格。
另外，对高层神经网络框架，如TensorFlow、ONNX、Caffe2等提供支持也算是当代AI开发环境的必然了。只不过这颗NPU的效率、功耗各方面数据均未知。其中的“系统/算法OTA升级”也算是当代具备弱编程特性的“通用型”AI处理器普遍具备的能力。
值得一提的是，成飞有特别提到CPU部分的四核Cortex-A55的ML能力有“6倍”提升，对比对象是Cortex-A53。A55有开始引入新的NEON指令，用于机器学习，这应该是其作为CPU部分的ML能力提升所在。

登录/注册后可看大图

VPU即视频编解码单元部分，着重于4K编解码、“高品质低延时”。成飞给出了JA310的4K HEVC（即H.265）编码质量，与其他友商产品在不同码率下的PSNR（峰值信噪比）比较（HM16测试模型）。成飞表示，其中橙色那条是“完美曲线”，“310在测试过程中，取得了最接近完美曲线的效果。”
以上这些都是JA310在AI视觉计算方面的努力，包括所谓的“专业安防级别ISP”、“高品质低延时VPU”、支持机器学习指令的四核CPU，以及专用NPU单元。从较少的参数信息来看，这应该是AIoT领域在图形处理能力上比较出色的一款SoC。

有关三星的11nm工艺

事实上，除性能之外，这样一颗AIoT芯片的功耗和效率也非常重要，不过瓴盛并未给出功耗方面的具体数据；只是在提芯片制造工艺时，略提了一嘴11nm相比28nm，功耗下降了70%。这里的11nm也就是三星的11LPP工艺。而JLQ JA310与三星的渊源也不只是芯片制造这么简单。
瓴盛科技CEO肖小毛在接受采访时说：“可能很多朋友关心我们为什么选择三星。我们做第一个产品是证明团队的能力，其次是为第二个产品打下基础。因为我们一些IP主要是在三星，内部供应商已经将其调到最优......工艺和IP捆绑很紧，当IP与工艺调整到最优时，强行切换（为台积电）的成本会比较大。”

登录/注册后可看大图

JA310的12英寸晶圆
Samsung Foundry中国区销售总监李宁在会上提到，三星有个名为SAFE（Samsung Advanced Foundry Ecosystem）的生态。这是三星构建的、与合作伙伴合作的“一站式商店”解决方案，能够“把客户创意很快变成电子产品”；毕竟现如今的IP设计，已经和工艺存在越来越大的强关联了。整个生态内包含了诸多EDA、DSP、IP以及云合作伙伴。
成飞在介绍JA310时也提到了：“团队历时2年，刚刚说1年——其实是方案开发1年，前期芯片还有更漫长的路在走。”所以JA310是在1-2年间开发完成，与此同时“一次流片成功”。这个成绩可能与瓴盛科技本身的背景也有关，包括资方的合作关系，以及三星foundry的SAFE生态本身。

登录/注册后可看大图

从李宁展示的这张图来看，JA310产出的合作方至少包括了Arm、芯原、Synopsys、eSilicon、Alpha Holdings，应当都与IP相关。不仅包括了CPU、NPU、ISP等核心部件的IP，也包括连接相关的IP。肖小毛并未透露是否有IP是来自瓴盛科技本身，他只是提到：“我们做的是大型SoC，一方面把自己有特点的小IP做进去，另一方面也是集成一些先进IP，公用的IP做起来。”“有些IP不一定满足需求，所以我们会进行改良，改成我们想要的IP。将来我们在集成大的IP的情况下，我们一定会去做差异化，在关键IP上投入资源，这个是基本能力的体现。”
三星Foundry串起这些IP之后，自然在对应工艺的生产上做到了相对的高效。恰好借此机会，我们也可以稍微聊一聊三星的11nm工艺。

登录/注册后可看大图

从李宁提供的三星Foundry工艺路线图来看，11LPP工艺实则是14nm工艺的延续，比较类似于三星8LPP与10LPP的关系——有关三星8LPP，我们在先前的文章中也曾提到过，它实则更像是个10nm+工艺，与7LPP略有差距。
从三星自己公布的数据来看，11LPP相比14LPP的进化幅度似乎还是比较大的。三星早在2017年9月就宣布了11LPP工艺的存在性，2018年10月首颗采用11LPP的高通骁龙675问世。在2018年的Symposia on VLSI Technology and Circuits会议上曾详述过这个工艺节点。
11LPP在生产设备上主要采用14nm工艺时期的设备，另外配合10nm的BEOL（back end of line）互联，最终可以实现更高的晶体管密度。从Wikichip的分析文章来看，两者结合之后三星引入了一种新型的UHD（超高密度）标准单元库，主要面向低功耗应用。这种标准单元库高6.75T，相比14LPP标准单元的9T缩减25%（gate pitch也有差异）。如此一来，11LPP UHD单元在密度上可与10nm比肩，当然性能肯定是不及的。[1]

登录/注册后可看大图

14LPP与11LPP的fin剖面（注意，左右两张图并非等比例），来源：Wikichip[1]
另外晶体管的fin部分，11LPP相比14LPP也更高、更窄——fin高度与宽度的缩减原本也是FinFET工艺进化的表现：更高的fin嵌入到gate（栅）的部分就越多，另外fin的这种变化也可更大程度降低，短沟道DIBL问题的影响。晶体管部分还有另外一些优化方案，如外延工艺等。从Wikichip的消息来看，三星11LPP另外还引入了一种新型的ULP超低功耗单元库（未知与UHD单元差异）。
简单来说，11LPP相比14LPP能够在相同面积内容纳更多晶体管，进一步提升频率，以及实现功耗的降低。三星最初的数据提到，在相同晶体管数量和功耗的前提下，相比14LPP提供至多15%的性能提升；相同晶体管数量，面积减少至多10%。看起来还是比10LPP与8LPP的递进关系更有诚意的。
另外，11LPP FEOL与14LPP在设计规则上也实现了兼容。三星和Arm都将11LPP作为汽车、IoT这类市场的长期节点对待。所以瓴盛的JA310选择11nm作为其生产工艺，也不失为一个比较明智的决定。这代工艺原本就是为成本敏感、功耗敏感的应用准备的。

生态与应用

实际上当代AIoT芯片的另一个核心在无线连接上，肖小毛在接受采访时也说：“未来边缘计算、AIoT重大方向就是无线连接。无线替代有线是未来的趋势，而5G+AI，AIoT就是我们比较大的布局，也是我们的方向。”
成飞也提到，“除了开放的趋势和第三方无线连接技术之外，还得到了产业股东的支持，让AI视觉从有线到无线无缝的跨越。所以合作伙伴，整个生态圈里的朋友，可以从瓴盛获得AI+WiFi，AI+5G一站式的服务。”
“AIoT市场，大家的产品大同小异。对我们来说，一方面我们用了先进的工艺，功耗表现更好；另一方面是要把连接加上——将连接能力加上，是我们跟其他友商相比最大的优势。未来我们把无线连接集成到芯片上，对于可靠性、功耗、成本还会有更大的改善。我们的重要优势就是把连接加进去。”肖小毛说。瓴盛科技的WiFi与5G连接技术出处应该是不言自明的，这可以认为是瓴盛的技术优势，包括未来将modem与RF系统集成进SoC的技术能力。

登录/注册后可看大图

无论其中是否具争议，这的确体现了瓴盛AIoT芯片的生态构建能力，包括软硬件两方面——针对JA310的无线外设，以及对存储系统的支持都是硬件生态。而在软件方面，“我们不仅是一家芯片公司，我们更是一个解决方案的提供商。这部分也是为了应对更加多样化和差异化的IoT应用。我们有选择性地打造行业解决方案，包括智能监控、机器人系列、视频会议系统。基于这些产品开发的新品，有效减少合作伙伴的开发人数，让产品的上市更快。”
这部分我们从采访展区的几个展商大致能体会。比如说专门做双目立体视觉的元橡科技，在瓴盛的生态中就扮演AI算法，以及更多软硬件方案供应商的角色。现场展示了元橡的多种双目视觉产品，如面向机器人的，面向车载领域的。

登录/注册后可看大图

元橡科技应用于不同领域的双目立体视觉产品
这是比较典型的面向具体应用场景的、“针对性”的解决方案。而除了这种针对性的解决方案，现场的好几名发言人都谈到了AI生态构建的协同合作，连同合作伙伴共同搭建“开放式的平台”。
在开发生态构建上，我们就在现场看到了Josh开发板，用Java语言开发做到开发过程的简化。这是开放式生态的一部分。

登录/注册后可看大图

Josh AI开发套装
成飞所说的开放式平台包含了4个层面：

[li]软硬件解耦合，“让应用软件，基于软件模拟器并行开发，加速开发进程”；[/li][li]可靠性和安全性，其中安全性表现在“让AI视觉应用，得到国密级的安全保障”；[/li][li]丰富的生态，“从软硬件解耦合，到解决方案，积极导入应用软件，包括AI算法等，整合行业资源”；[/li][li]可持续发展，“结合前面3点，引入更多的软件、算法，与合作伙伴之间通力合作，让瓴盛科技搭建的平台生根发芽”。[/li]而在JA310的具体应用上，比较具有代表性的是银光软件面向学校的食品安全方案。通过AI视觉来监督学校食堂各方面的食品安全。比如说厨房工勤人员的穿戴分析：是否穿厨师服、做面食是否戴手套、日常是否戴口罩等；再比如明火预警、老鼠等病原体携带者预警、摔倒预警等；以及教师配餐抓拍，事物留样监管，杜绝粮食浪费等。
演示区展示了这套方案中的几个设备。其一是一台秤，专门用于“AI智能收货”。这台秤也加装了摄像头，通过AI视觉来识别过称的食材，并自动将食材入库。而后端给予AI算力的则是一台算法服务器。方案中另外还包括了用于食品安全检测的“AI黑匣子”，包含农残快速检测仪（AI小分子光谱对比，15分钟出结果）以及AI毒鼠强检测等。这套方案似乎也有应用5G连接方案。

登录/注册后可看大图

银光软件的AI智能秤以及算法服务器

登录/注册后可看大图

智能晨检仪，将手放入其中可检测手温、检查是否涂指甲油、是否有伤口，以及考勤等

登录/注册后可看大图

安威士的智能安防

登录/注册后可看大图

博观的人脸门禁终端演示与人脸面板机模组
江苏乐众信息技术有限公司还将JA310应用到了卫星物联网、宽带卫星通信终端、C-V2X智能网联、宽带自组网终端、铁道专网终端等方案。上面这些应用及生态内的一众解决方案，都表明JA310这颗AIoT芯片的落地还是比较迅速的。
在此之外，“移动计算、手机平台跟AIoT同质化比较多，所以我们决定先做AIoT产品，把IP流程、工艺走完，把团队工程开发流程、团队能力建立起来。” 肖小毛表示，“在完成AIoT产品的研发以后，我们也早就启动了下一步移动产品的开发。细节现在不能透露。但是我希望明年或者后年，我们可以再坐在一起看看移动产品的情况。” 智能物联网和移动通信作为瓴盛科技的两个发力点，预计很快我们就能看到瓴盛科技推出的手机SoC了。