AI从云端走向边缘需要这样一颗芯片

shuszhao · 发表于 2019-4-15 13:16:55

人工智能（AI）在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据，包括图像、视频、音频等，通过网络传输至数据中心进行AI相关的处理，然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。
人工智能（AI）在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据，包括图像、视频、音频等，通过网络传输至数据中心进行AI相关的处理，然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。
因此，AI从云端走向边缘终端设备是大势所趋，AI边缘推理芯片应运而生。
Intel、Google、Nvidia及Flex Logix边缘推理芯片
目前的AI边缘推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。

（图片来源：Flex Logix）
20190415flex2.jpg

（图片来源：Flex Logix）
Flex Logix的InferXtm X1边缘推理芯片是在业界领先的eFPGA互连技术上，结合专为AI推理运算而优化的nnMAXtm乘加器(MAC)而开发。
Flex Logix公司称，在通常只有一个摄像头或传感器、需要完成小批量数据处理的边缘应用中，InferX X1的性能接近数据中心推理芯片，并且只需一个DRAM即可在边缘应用中提供高吞吐量，同时保持系统功耗和成本。
“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗，而我们的可编程互连技术是接近完美的解决方案。”Flex Logix公司CEO Geoff Tate说。
Tate表示，InferX X1基于低DRAM带宽，与高端数据中心服务器的黄金标准Nvidia的Tesla T4相比，每瓦吞吐量提高了四倍，每美元吞吐量提高了三倍。
Tate提到，InferX在YoloV2，YoloV3和GoogleNet等推理基准方面优于其它供应商的边缘推理芯片，如Intel的Myriad X和Nvidia的Jetson Nano。
20190415flex3.jpg

图：InferX X1与Nvidia Tesla T4的价格/性能比和性能/瓦特比。（图片来源：Flex Logix）
Tate强调InferX虽然不具Tesla T4的吞吐量，但其最终售价将仅为T4价格的几分之一。
“我们的InferX X1 AI边缘推理芯片专注于AI推理，而Intel及Nvidia等边缘推理产品除了推理还提供AI训练，因此可以说Flex Logix的边缘推理芯片做得更专更精。”Flex Logix的销售总监Jim Jian在接受《电子工程专辑》记者的采访时谈到。
Jim还特别提到，目前几乎没有哪个边缘推理产品的供应商公布其产品的Benchmark，“我们决定将InferX X1的Benchmark公之于众，方便客户在不同的供应商之间进行比较和选择。”显示出Flex Logix对InferX X1 AI边缘推理芯片的信心。
20190415flex4.jpg

（图片来源：Flex Logix）
高算力，低成本，InferX X1是怎样做到的？
InferX AI芯片的核心技术源自Flex Logix拥有专利的现有eFPGA IP里的可编程互连技术，同时结合专为AI推理而设计的乘加器（MAC）和存储单元。这些乘加器支持INT8、INT16、BF16等AI算法里常见的精度数字。
20190415flex5.jpg

（图片来源：Flex Logix）
“在运算一层网络的时候，我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接，等于是专为这一层运算配置了一个ASIC。同时对下一层网络进行pre-load，以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接，将这一层的输出，快速配置成下一层的输入，从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小，大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。
InferX X1芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。
20190415flex6.jpg

（图片来源：Flex Logix）
正是因为应用了核心的可编程互连技术，并在InferX芯片产品中引入其它新技术，才使得InferX X1能在提供高算力的同时提供低功耗和低成本，并且适用于任何神经网络。
InferX X1应用在哪些领域？
InferX X1是专为边缘推理应用而设计的，适用于边缘终端设备，特别是需要实时处理数据的设备和应用，例如L3~L5的汽车自动驾驶、视频监控和识别、自然语音处理等。除此之外，还可用于机器人、无人机、医疗设备，甚至云端的推理服务器。
20190415flex7.jpg

（图片来源：Flex Logix）
InferX X1可以支持语音，图像，视频等任何基于TensorFlow-Lite或ONNX的模型和算法，特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法，InferX X1在batch=1的情况下，可以对1Megapixel图像达到25.4帧每秒(fps)的吞吐量，而对2Megapixel高清图像则达到12.7帧每秒(fps)。
工程师在使用InferX X1时应当注意什么？
当《电子工程专辑》记者问到工程师在使用InferX X1时应当特别注意什么时，Jim Jian说，Flex Logix的eFPGA的用户主要是设计芯片的硬件工程师，而InferX X1芯片用于AI推理，所以客户主要是算法工程师。算法工程师不需要了解芯片内部的结构及运行，他们关注的是自己的神经网络模型在InferX X1芯片上是否能够达到所需的性能。
所以，这些算法工程师在设计拥有推理功能的边缘终端设备或系统时，首先要确认推理计算的芯片是否能提供足够的算力来达到自己算法需要的精度和吞吐量，同时还需要考虑设备对功耗的限制，以及对成本的要求。
20190415flex8.jpg

（图片来源：Flex Logix）
Flex Logix向客户提供编译器软件nnMAX Compiler，客户可以将基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler软件编译。因此，设计一开始客户就能了解自己的算法在InferX芯片上运行的性能和功耗等数据，从而迅速评估并优化自己的设计。