NXP Connects炉边谈话：一年来在边缘AI领域都做了什么？

似水流年

NXP Connects炉边谈话：一年来在边缘AI领域都做了什么？



日前，在NXP Connects 2020上，高级副总裁兼边缘处理业务部总经理Ron Martino与MCU/MPU工程部副总裁Kevork Kechichian进行了炉边谈话，详细介绍了NXP在嵌入式边缘计算领域的具体工作，从物联网智能家居到工业工厂自动化以及汽车增强电子座舱等应用。

构建完整的嵌入式计算平台

目前恩智浦的计算平台从毫安级DMIPS的小型控制器扩展到瓦级，且具有数十万DMIPS的复杂处理器，包括16nm FinFET甚至是5nm的芯片，具有百亿个晶体管。（NXP 2020年6月宣布将成为第一家采用台积电的5nm工艺技术开发下一代“高性能安全计算”汽车芯片的公司。）

针对高端产品，除了制程工艺之外，NXP在设计中布局规划，通过摆放不同的加速引擎。而针对电池供电的产品，NXP也进行了相应的电源优化，提供了不同的电源模式，以及包括平衡性能、热封套以及热占位面积，乃至最终的封装及量产等多种考量因素。

NXP整合了各类边缘计算平台，从而作为子系统和单位进行构建。在此基础上，每个产品在各处添加一些子系统。特别是在低端产品中，由于不能用堆叠晶体管来解决问题且需要注重利润和成本，所以颇具挑战性。同时针对平台进行的优化也包括软件及设计环境。

处理、连接与安全

谈到人工智能和机器学习技术，实际上有许多不同的方法可以处理，包括CPU、GPU、DSP及多种硬件加速器等。NXP选择IP授权及软硬件结合的方式，结合实际应用，优化机器学习能力。“NXP大部分IP是授权获得的，这对我们的流程以及如何管理各方面提出了更严格的要求，因为与不同的供应商打交道会出现不同质量的IP，特别是在机器学习方面。“Kechichian强调道。同样在软件层面，包括整个协议栈到软件和应用层，也需要进行评估。通过种种优化，NXP保证在面积单位及单位功耗上获得了最高性能。

“任何人都可以集成并拼接不同的IP块，但区别在于，真正优化终端应用性能以及与一支经验丰富的团队以明智的方式完成这项工作。那么由于存在这方面的关联，您需要连接多个IP用于数据源输入，然后在其上执行处理。”Martino说道。

Martino表示，消费者需求是用户体验，包括应用的运行速度及应用响应需求的速度等。所以，NXP团队非常积极地运行一些基准测试。并且与客户接触时，重点询问他们想要解决的关于边缘AI的痛点。

Martino以i.MX 8M plus为例，这是首个集成专用神经处理单元(NPU)的i.MX系列产品，可在工业和物联网(IoT)边缘进行高级机器学习推理，该产品也扩展了其EdgeVerse产品组合。i.MX 8M Plus的NPU提供2.3 TOPS的算力，内部包括最高2GHz的四核Arm Cortex-A53内核，以及800MHz Cortex-M7实时处理器，此外还包括 800 MHz音频DSP用于语音和自然语言处理，双摄像头图像信号处理器(ISP)和3D GPU。

由于具有如此众多的IP块和子系统，复杂性与所对应的优化变得至关重要。“若仅从复杂性的角度来看，大多数IP经过独立验证，质量可靠。但将它们投入使用后，挑战就出现了，比如基于网络的系统，节点数很重要，但这些节点之间的连接会使其变得更加复杂。每次添加新连接时，复杂性都会增加。如果您观察我们的一些i.MX产品，它们已经成为汽车中的全媒体中心。这些对计算高度敏感的多媒体处理器之间需要不同类型的交互，如内存相互传输数据、大量摄像头、大量显示单元、图形处理等等。复杂性也由此而来。”Kechichian说。

如何确定所有应用场景问题上，首先，验证所依据的空间是优质的。但由于它是具备多个处理元素的开放平台，所以您会看到每位客户在里面添加自己拥有的各种不同的代码库。因此，NXP尝试从传统验证技术和正式技术来预测，从而覆盖这一空间。同时，NXP还拥有早期模拟平台。

Martino强调，未来无论是汽车、智能家居还是工厂自动化，人与机器都有了更多全新交互，如何实现无缝用户体验，如何让机器始终以自动化的方式操作，这是用户体验最重要的地方。Martino念念不忘在CES 2020上展示驾驶员随动的汽车环视系统，就是无缝的切换视角。

此外，Martino还谈到了NXP在无线通信、有线连接的IP及产品，通过收购Marvell的无线业务以及本身拥有的各类连接技术，NXP具有更加丰富的产品组合。

安全，则是边缘计算中最为看重的，其中信息安全通常是由外部恶意代理引起的，而功能安全是系统固有的。作为几十年安全领域专家，NXP为产品添加更多安全功能是满足产品差异化的重要标识，但是会增加现有复杂系统的开销，有时会减缓处理速度，增加功率。

                               
登录/注册后可看大图

用i.MX 8运行Android 11，点亮屏幕，以便呈现出真正的炉边对话，NXP如今除了强调产品本身特性之外，更关注产品的最终体验

集成平台的挑战

除了芯片本身的集成设计之外，大量产品路线及大量不同的流程是平台开发的更大挑战。目前，NXP开始与CTO办公室合作并开始研究如何最大限度地减少不同技术版本的数量，“我们将其称为对齐到网格，实际上它适用于所有不同的方面，我们努力确保提供一组有限的技术。”Martino说道。

随着平台规模壮大，越来越多的IP将变得集中，如6到8个技术、设计、开发方法。一切变得更加受控，这些类型的交换将逐渐提供一个中心工程领域及增长规模。

软件和开发环境同样需要集成。NXP通过集成 MCU产品组合、RT、MCUXpresso，所有驱动程序、固件和开发环境集成到一个安装包中以便客户轻松高效地优化其系统。这同样适用于板级，在附加板上使用高端处理器从而获得高级别的Wi-Fi功能，并且为了更方便使用能够使BSP预加载固件驱动程序。

当然集成平台并不意味着所有都会集成到一起。比如目前汽车中有大约300多个电子元件分散在各处，是孤立的，各种软件协议栈是不一致的。在较为流行的域控制器架构中，随着协议不同仍然会采用分区架构，但是每个区会有高度的集成化。

“软件、硬件和支持集中到一起成为我们未来一个非常关键的部分。”Martino总结道。

从用户体验来看，NXP正在行业中构建一个能够通过开放标准和通用设备自我构建并与浮于硬件之上的软件和应用层交互的平台，从而提高效率并加以利用。比如将汽车锁涉及到功能和消费电子、工业、智能零售、基础设施、办公室、家居并将其聚集在一起，通过一致性将事物连接在一起。

“最终随着我们推出广泛的嵌入式计算，对于这些平台的裁剪及优化又将成为恩智浦的另一大优势。 ”Martino补充道。

模拟、仿真与建模

Martino特别强调NXP已经开始研究早期模拟、仿真和建模平台。在实验室里就可以运行这些平台，可以提前了解并掌握如何处理所有复杂性，包括架构探索、代码开发以便开发出更优质的产品。尤其是随着汽车开始与周围环境交互，出现了智慧城市等，应用场景更加多样，许多元素变得非常重要。

新思科技今年初也宣布，其支持NXP S32G车辆网络处理器的虚拟器开发套件(VDK)已全面上市。VDK已被NXP团队广泛用于开发其S32G赋能软件和固件。VDK是使用虚拟样机作为嵌入式目标的软件开发套件，它不但使Tier 1、OEM和半导体公司能够在硬件上市前数月便开始软件开发、集成和测试，还能够通过回归测试实现灵活和可扩展的部署，并通过故障注入提升测试覆盖率，满足高等级汽车功能安全要求，加速产品开发和测试进度。

一些全新的设计理念

Kechichian介绍，如今，NXP每三个半月就会将机器学习的计算能力提高一倍，然而汽车数据增长速度更快，等到产生了大量数据而无法快速处理时，将以全新的方式借助人工智能来计算。

另外值得一提的是最新的适用于MCU的Glow，能够将机器学习模型部署到非常高效的用例、结合了扩展的能力与缩减的能力且能够优化并使工作流程适合小计算内存容量上的用例。率先开发PyTorch的Facebook推出了开源社区项目Glow（Graph Lowering神经网络编译器），其目的是提供优化，提高一系列硬件平台上的神经网络性能。作为一种神经网络编译器，Glow基于未优化的神经网络生成高度优化的代码。这个特点有别于典型的神经网络模型处理，后者采用即时编译，因而需要更高的性能，还会增加存储器开销。像Glow这样直接运行优化代码可以显著降低处理和存储器要求。NXP也在Glow开源社区中扮演着积极角色，帮助推广和普及Glow的新功能。“我们在横向扩展机器学习功能时，也在按比例缩减，因此由电池供电的简单物联网设备可以得到有效优化。”Kechichian说道。

针对一些计算高度密集型应用处理器中，NXP提出了HUGI(Hurry Up and Get Idle)的概念，既“加快速度并进入空闲状态”。HUGI概念英特尔较早以前在移动处理器产品组也提到过，在有运算任务的时候，让整个平台迅速启动，发挥最大的潜力，尽快完成任务；在完成任务后，迅速进入休眠，沉睡状态越深越好。因此，HUGI不但提高了处理器性能，由于完成任务很快，因此其进入休眠状态时间相对延长，从而能够降低总体功耗，这样就实针对一些计算高度密集型应用处理器中，NXP提出了HUGI(Hurry Up and Get Idle)的概念，既“加快速度并进入空闲状态”。HUGI概念英特尔较早以前在移动处理器产品组也提到过，在有运算任务的时候，让整个平台迅速启动，发挥最大的潜力，尽快完成任务；在完成任务后，迅速进入休眠，沉睡状态越深越好。因此，HUGI不但提高了处理器性能，由于完成任务很快，因此其进入休眠状态时间相对延长，从而能够降低总体功耗，这样就实现了提升性能的同时，降低（或至少维持）功耗，延长电池续航时间的目的。

Kechichian介绍到，由于小型的人工智能边缘处理器无法保持永不更换电池，因此需要越来越低的功耗，为此NXP已经开始考虑不同的电路技术，引入新设计权衡因素、新设计技术并获得正确的技能组合以便专注于功耗， NXP也专门设有功耗主管或负责人，以确保功耗得到了最佳优化。

“一年前，NXP完成了组织架构和人员报告架构的转变，自此整个团队都按照这种新的指令方式展开工作。不同的市场提出了非常广泛的技术挑战，需要从逻辑的角度来解决。我们联系所有专家，建立一个良好的社区，吸引越来越多的人加入，帮助他们向资深人士学习。目前，我们有近52个项目处于不同的执行阶段且进度都达到预期。”Martino在炉边对话开始时的谈话，也是NXP一年来在边缘处理领域所做的总结。

zeosv

好好学习，天天向上

sea12103

zengfanlong

  

luchonghui74

谢谢分享！