低功耗FPGA加速下一代智能PC实现边缘AI应用

shuszhao · 发表于 2021-11-30 08:58:42

莱迪思(Lattice)半导体公司日前宣布其低功耗、AI/ML解决方案的最新路线图。它们采用Lattice sensAI解决方案集合构建，在Lattice Nexus FPGA上运行，可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备，这些设备还能现场进行升级，支持未来更多的AI算法。

网络边缘计算快速兴起

莱迪思半导体亚太区资深市场开发经理林国松表示，智能手机和各类物联网设备的指数级增长推动了网络边缘计算的发展，这些设备无处不在，但如果将其产生的全部数据都向云端发送，毫无疑问将为云端处理带来极大的负担。因此，基于网络边缘的处理十分必要，不仅可以降低云端的网络通信成本和云存储成本，还能避免云端数据通道过载。
目前，网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习（AI/ML）算法来匹配和识别复杂的模式，以帮助分析数据并据此做出决策。事实上，AI/ML技术的使用增长极其迅猛，ABI Research的数据显示，截止2024年，设备端AI推理功能预计将覆盖60%的设备。

许多可以利用AI/ML功能的网络边缘应用需要在极具严苛的功耗限制下运行。这些广泛分布的设备通常依靠电池供电。此类应用在各种网络边缘环境中比比皆是，包括工厂、农场、办公楼、零售店、医院、仓库、街道和住宅。随着它们数量的增加，这些设备需要在仅充一次电或者仅依靠收集和存储能量的情况下运行较长时间，甚至可能是几个月或几年。
另一方面，近十年来AI模型快速发展，从下图中可以看到从2012年到2021年AI分类模型创新的数量在逐年递增。由于AI技术的不断创新，导致不断有新的实现方式产生。而新的实现方式的产生需要有更快的硬件来实现，这就需要硬件和算法上的优化。

对低运行功耗和AI/ML算法实现的需求似乎与低功耗网络边缘设备设计的要求相互冲突。然而，这两种复杂的设计要求其实并不矛盾。莱迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——专为满足低功耗网络边缘设备的诸多设计要求而定制。这些FPGA可以支持多个传感器、显示器，支持高分辨率视频、网络连接和网络边缘AI/ML处理。

sensAI 4.1

莱迪思最新发布的sensAI解决方案集合4.1版本支持CertusPro-NX FPGA，提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务，有助于设计团队开发新的网络边缘设备，并将其快速推向市场。与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。

莱迪思sensAI 4.1解决方案集合可开发基于莱迪思FPGA的AI/ML设备

得益于对CertusPro-NX FPGA产品的支持，sensAI的性能也有了较大提升，除了已有的对象检测和追踪应用之外，还新增了对多个对象实时分类等应用。sensAI 4.1解决方案集合包括更新的神经网络编译器，还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。
莱迪思sensAI 4.1解决方案集合中的IP核包括三种类型的卷积神经网络（CNN）加速器——CNN、CNN Plus和CNN Compact——以及一个CNN协处理器引擎。CNN IP核能让开发人员使用其他人发布的广泛使用的各类CNN，例如Mobilenet v1/v2、Resent、SSD和VGG，或者根据需要自定义CNN模型。sensAI 4.1 CNN加速器利用莱迪思FPGA的并行处理能力、分布式存储器和DSP资源，极大简化了超低功耗AI设计的实现。加速器核利用FPGA的可编程逻辑来实现低功耗神经网络，包括极其高效的二值神经网络（BNN），能够以毫瓦级超低功耗实现CNN。
软件工具层面，新增加的sensAI Studio设计环境是亮点之一。这是一种基于图形用户界面（GUI）的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景，可帮助开发人员快速构建机器学习应用。在使用莱迪思sensAI 4.1中的工具设置网络边缘计算设计，并且采用莱迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA时，可以在超低功耗下实现实时的AI/ML功能——功耗低至1mW到1W。
sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为CertusPro-NX进行了优化。

莱迪思sensAI Studio设计环境加速端到端的AI/ML模型训练、验证和编译

sensAI 4.1参考设计

之所以要把sensAI 4.1参考设计单独提出，是因为sensAI 4.1版本在性能和准确度方面有了不小的提升，有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。
同时，莱迪思FPGA提供可编程I/O，经配置可支持传感器接口常用的多种电气接口标准，公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势，因此莱迪思sensAI 4.1解决方案集合包括许多参考设计示例，演示了多种智能传感器融合的应用案例，它们可以同时运行，实现深入的情景感知，例如：

[li]人员侦测[/li]该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架（例如Caffe或Tensorflow）更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。

[li]目标检测、分类、追踪和计数[/li]该参考设计提供了目标检测、分类、追踪和计数的示例，拥有完整的设计，包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。

[li]手势检测[/li]该参考设计使用IR图像传感器，实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型，方便用户进行修改。

[li]关键词检测[/li]该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架（例如Caffe、Tensorflow或Keras）更新提供的训练数据集，为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型，方便用户进行修改。

[li]人脸检测[/li]该参考设计使用图像传感器实现基于CNN的人脸识别，并且可以通过修改训练数据库来识别其他类型的目标。

助力下一代智能PC体验

莱迪思正与合作伙伴和客户合作，利用多模式、智能传感器融合和AI/ML技术，不断提升PC/笔记本电脑用户的体验，并显著降低笔记本电脑的运行功耗，在某些应用中，电池使用时间最多提高了28%。
PC和笔记本电脑在24小时内的使用情况差异很大，一般在白天工作时间集中使用。然而，即使是在工作时间，它们也会有休息状态。人们会偶尔休息，中午也会用餐，这些时间他们通常会让计算机保持运行状态，确保他们打开的各种应用不被关闭。
将AI/ML分析和决策与计算机现有的传感器（摄像头和麦克风）相结合，实现智能传感器融合，能让PC或笔记本电脑感知周围环境，从而决定何时关闭显示器和CPU，以及何时应该给它们重新供电。
存在检测最简单的用途是在周围无人时关闭计算机。当用户长时间远离屏幕时，注意力追踪功能可以调暗计算机屏幕并激活低功耗模式。充当智能传感器中心的低功耗、小尺寸FPGA可以接收来自计算机传感器的输入，然后根据情况决定为哪些组件供电。

同样，这些功能也可以增强计算机的隐私和安全性。计算机的内置会议摄像头可用于监控用户身后的背景，检测是否有人从用户的肩膀后面窥视。如果计算机被配置为保护隐私，当授权用户背后有人疑似在偷窥计算机屏幕时，它可以弹出警告提醒用户甚至自动调暗屏幕。需要注意的是，使用这些解决方案，所有推理数据都保存在FPGA本地。仅将元数据传递给SoC，这进一步增强了隐私并提高了安全性。

AI/ML功能还可以增强计算机用户的总体体验。例如，基于AI/ML的面部取景功能可以利用内置视频会议摄像头的较高分辨率来裁剪和居中用户的头像，为视频会议提供较好的画面。与会者还可以在会议期间移动的同时，他们的图像依然保持居中。同样，手势识别可以为笔记本电脑或PC或任何其他支持视频的物联网设备添加非接触式操作功能。