莱迪思关于网络边缘嵌入式视觉处理白皮书

shuszhao

网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备，互连将无处不在。市场对应用人工智能和机器学习（AI/ML）的兴趣不断增长，对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟，更好地保护用户隐私。此外，网络边缘智能设备能对发送到云端的数据进行筛选，从而降低网络成本和带宽要求。
这些网络边缘智能设备大多使用图像传感器来实现各类嵌入式视觉应用，包括对象计数和存在检测等基于 AI/ML 的应用。然而，在网络边缘支持嵌入式视觉应用，要求设备具有某些设计和性能上的特征：如低功耗、高性能、高可靠性和小尺寸。针对这类应用，莱迪思推出了全新 CrossLink-NX™系列 FPGA。新的芯片旨在满足视频处理的最新趋势：如混用多个传感器和显示屏、视频分辨率更高、使用多个接口以及网络边缘 AI 处理等。

CrossLink 遇见 Nexus
为帮助开发人员支持全新及现有的嵌入式视觉系统，莱迪思推出了 CrossLinkPlus™ 这款专业化、小尺寸、低功耗 FPGA 产品系列。

图 1： CrossLinkPlus 与  CrossLink-NX™ 对比

CrossLinkPlus 的可编程逻辑能满足处理需求，还支持各类接口标准，是网络边缘应用中视频信号聚合和图像协处理的绝佳选择。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工艺制造。
针对需要更高性能的嵌入式视觉系统，莱迪思发布了 CrossLink-NX™ 系列 FPGA。这是基于莱迪思全新 FPGA 技术平台 Lattice Nexus™ 的首款 FPGA，也是业界首款采用 28 nm 全耗尽型绝缘层上硅（FD-SOI）工艺的主流低功耗 FPGA 平台。得益于 28nm FD-SOI 工艺以及针对低功耗和小型封装进行了优化的全新 FPGA  架构，CrossLink-NX™  极大扩展了 CrossLink FPGA  系列的功能。CrossLink-NX™  提供更低的功耗、更小的封装、更高的性能和可靠性以及易于使用的新工具，为开发人员提供了视频和传感器处理的创新选择，其表现显著优于同类竞品 FPGA。
CrossLink-NX™ 的应用市场：汽车、移动设备、工业等
CrossLink-NX™ 系列产品非常灵活，可以满足视频切换和图像处理领域多个细分市场的需求。
这些领域的应用大多需要支持在多个显示屏、摄像头和传感器（图像传感器等）之间桥接和/或聚合数据流。此外，这些组件可用于即时视频处理和 AI/ML 推理。由于 FPGA 具有较高的能效，因此它们可以用于电池供电的移动设备中，并且可以提供足够的性能，在计算和工业控制应用中大放异彩。

图2：嵌入视觉的发展趋势                           资料来源：莱迪思

在视频监控和安防应用中，CrossLink-NX™ 可以实现 AI 推理，从而对传感器数据进行预处理，这类应用包括人脸识别和存在检测。此外，它还可以用于传感器聚合和桥接。
此款芯片可用作嵌入式视觉协处理器，合并多达 14 个传感器。它还可以用于视频缩放、旋转和色彩空间转换。设计人员可以使用该芯片将一个传感器数据流发送到多个位置，这在汽车应用中非常实用，因为摄像头常常需要向多个处理单元提供数据。
在本白皮书的以下各节中，我们将比较 CrossLink-NX™ 和逻辑单元密度及 I/O 支持相近的FPGA。以下是莱迪思提供的性能和功耗比较测试。
高性能 CrossLink-NX™ 实现网络边缘 AI
人们通常认为 AI 处理需要在云端完成，然而在网络边缘实现设备端的 AI 功能越来越重要，因为这能够更好地保护用户隐私、减少上传到云端的数据量、还能降低数据延迟以缩短设备响应时间。
对于硬件开发人员而言，多种因素导致了实现网络边缘 AI/ML 充满挑战。例如，为了提高 AI/ML 结果的准确性或实现新的应用，嵌入式视觉开发人员需要为其系统添加更多传感器和/或更高分辨率/更高帧率的摄像头。与此同时，嵌入式视觉设计人员希望使用符合MIPI 标准的组件。MIPI 起初是为移动市场开发的，如今，各类应用的设计人员开始寻找方法利用应用处理器等 MIPI 组件带来的高性能和规模经济的优势。

图3 ：CrossLink-NX™ 框图                       资料来源：莱迪思

CrossLink-NX™ FPGA 拥有足够的资源处理多个视频数据流和即时执行 AI 计算功能，它还支持各类现有接口。
该产品系列拥有多个 MIPI D-PHY 接口和 CSI-2 摄像头接口，旨在服务于视频和显示屏应用。两个硬核 D-PHY 接口，每个接口支持四个通道，通道速率高达 2.5 Gbps（共 10 Gbps），另外的软核 MIPI D-PHY 配置支持最多 12 个速率为 1.5 Gbps 的 MIPI 数据流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。
CrossLink-NX™ 的硬核 DSP 模块可用于在本地处理神经网络（NN）。该系列平均每个逻辑单元有 170 bit 存储空间，拥有同类产品中最高的存储与逻辑比。FPGA 的大型片上 SRAM 从 1 到 2.5 MB 不等，可存储神经网络激活和权重。
FD-SOI 工艺实现创新的功耗模式和更高的稳定性
莱迪思采用 FD-SOI 工艺，为开发人员管理功耗提供了一种创新的思路。该工艺可以实现在裸片的背面施加电压（负偏压），从而改变阈值电压。该芯片因此可以提供两种工作模式——低功耗模式和高性能模式。通过功耗优化，较高频率下的工作功率可以在 200mW 左右，而静态漏电功耗仅为十几毫瓦。与其他同类竞品相比，CrossLink-NX™ FPGA 的功耗降低多达 75％。
FD-SOI 工艺还带来了另一个优势，即软错误（高能粒子撞击 FPGA 中的晶体管并损坏性能的现象）大大减少。使用 FD-SOI 工艺可显著减小芯片上容易受到软错误影响的物理区域。为确保基于 SRAM 的 LUT稳定运行，还使用了存储块错误校正代码进行软件错误检查。总而言之，基于 FD-SOI 工艺的 CrossLink-NX™ 的软错误率（SER）比 bulk CMOS 工艺制造的同类竞品 FPGA 解决方案降低 100 多倍。
CrossLink-NX™ 尺寸更小
移动应用往往有非常严格的空间限制。莱迪思将推出该系列的两款产品，分别支持不同级别的逻辑大小（17K 或 40K 逻辑单元）。CrossLink-NX™ 系列的一大优势是它占据的空间极小，最小尺寸仅为 3.7 mm x 4.1 mm（17K 逻辑单元器件）。CrossLink-NX™ 系列的器件引脚兼容，因此同样的电路板设计可用于不同的应用，还可以对使用这些器件的设计的未来版本进行性能升级。
瞬时启动
CrossLink-NX™ FPGA 使用 quad-SPI 闪存存储配置文件。可以在 3 毫秒内首先配置 I/O 引脚，然后在 14 毫秒内即可完成逻辑配置。这些特性实现了瞬时启动，降低了在许多应用中可能出现的运行问题。
CrossLink-NX™ 提供易用的体验
CrossLink-NX™ FPGA 拥有大量不断更新的软件支持，包括莱迪思 Radiant 设计工具（最近的更新包括了片上调试、信号完整性分析和工程变更单编辑器等功能）和用于嵌入式视觉应用的各类 IP 核（MIPI D-PHY、格式转换、PCIe、SGMII 和 OpenLDI）。莱迪思还提供针对常见应用（例如摄像头聚合）的开发板和参考设计，未来将发布更多开发板和参考设计。
结论
莱迪思通过 CrossLink-NX™ FPGA 系列产品，将可编程性与高性能处理及高速 I/O 互连相结合。这些器件将以高度的灵活性、低功耗、可编程性、小尺寸和高速视频接口，为开发人员提供实现嵌入式智能视觉应用的多种选择。该系列仅仅是基于莱迪思 Nexus FPGA 技术平台的首款产品，未来的新产品值得期待！
CrossLink 产品系列参数

13713603579

wangyitu

边缘计算这个概念提了好几年了

wg5843

    

lqsgg

  

zengfanlong

  

armstm32

学海无涯

好深。

zheshiwo

谢谢分享！

alexl