芯原联合Khronos举办全球研讨会，加速图像处理开发

似水流年

芯原联合Khronos举办全球研讨会，加速图像处理开发



日前，芯原联合Khronos（科纳斯）组织在上海召开了技术研讨会。在技术研讨会上，包括来自科纳斯、芯原、腾讯、阿里巴巴、ax株式会社、英特尔、中国移动研究院、弥知科技以及华为等多家厂商或机构进行了相关技术分享。

芯原商业运营高级副总裁汪洋在开幕致辞中说道，Vivante 2004年加入科纳斯工业协会。随着Vivante加入芯原之后，芯原也成为了协会董事会成员。汪洋介绍了芯原的一些针对视频领域的合作项目。包括和谷歌合作，打造了视频转码处理器，相比英特尔解决方案，实现了6倍转码能力的提升，但功耗只有英特尔的1/13。“定制芯片方案越来越受到互联网和云服务商的认同，因为无论从开发费用还是后期运营维护费用（主要是电费）来说，定制芯片变得越来越广泛。”汪洋表示。

同时，汪洋也提到随着数据处理量越来越大，传输也变得更加重要。芯原在2021年初，与Serdes IP 供应商Alphawave签定独家经销协议，芯原成为其在中国大陆地区、香港特别行政区、澳门特别行政区的唯一销售合作伙伴。以及全球首选ASIC合作伙伴。

汪洋说道，芯原不光是提供IP技术，更多是为产业提供从芯片硬件到软件的全支撑，从系统平台设计，IP设计服务到提供BIOS 驱动，API等。

科纳斯工业协会主席、英伟达生态系统开发副总裁、OpenCL工作组主席Neil Trevett介绍了科纳斯组织的情况。科纳斯是由会员所驱动的工业协会，其目标是大家一起开发免版税的标准以及蓬勃活跃的生态链，以把芯片加速的功效，用在要求苛刻的图像渲染和涉及超大计算量的应用上。科纳斯会员来自世界各地工业界的领袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等标准都由科纳斯来负责维护。

Trevett表示，一个真正开放的标准，不能以任何一个公司为主导，最好可以每个公司都贡献一点点。目前科纳斯主要面向包括高性能3D图像、3D资产授权和交付、可移植的XR虚拟和增强现实以及并行计算/视觉/机器学习和推理四大方向。

芯原执行副总裁、IP事业部总经理戴伟进则介绍了芯原Glass In Glass Out的发展策略。芯原的IP涵盖ISP、GPU、VPU、NPU等。“OpenGL ES对Vivante非常重要，如果没有科纳斯，Vivante不可能开发如此众多的创新产品。”戴伟进说道。“对于芯片开发来说，API是关键，主要是因为通过统一API可以直接对接软件生态系统，满足从高性能云到可穿戴的要求。”

在接下来的技术演讲中，研讨会主要分为了并行处理、视觉加速和推理，3D图像，增强与虚拟现实三大部分。

并行处理、视觉加速和推理

在并行处理、视觉加速和推理部分，Trevett介绍了科纳斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光线追踪是业界第一个开放、跨厂商、跨平台的光线追踪加速标准。Vulkan是轻量级API，大幅减少驱动程序，并为程序员提供更多的灵活性。OpenCL则是跨供应商的标准API，是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，支持多核心CPU、GPU、NPU、DSP以及其他并行处理器。OpenVX是一种开放的，免版税的标准，用于跨平台加速计算机视觉应用程序。OpenVX可实现性能和功耗优化的计算机视觉处理，这在嵌入式和实时使用情况下尤其重要。SYCL是一种免版税，跨平台的抽象层，它允许使用标准ISO C ++编写异构处理器的代码，并在同一源文件中包含应用程序的主机代码和内核代码。

同时，Trevett还介绍了SPIR-V，SPIR-V正在推动用于表示并行计算和基于GPU的图形的着色器和内核语言编译器的生态系统革命。SPIR-V使高级语言前端能够以标准化的中间形式发出程序，以供Vulkan，OpenGL或OpenCL驱动程序提取。SPIR-V消除了设备驱动程序中对高级语言前端编译器的需求，从而大大降低了驱动程序的复杂性，使广泛的语言和框架前端可以在各种硬件体系结构上运行，并促进开源分析生态系统，移植，调试和优化工具。

目前，科纳斯正在尝试建立嵌入式摄像头API小组，如今包括汽车、工业自动化等领域越来越依赖于摄像头，但并没有广泛的跨供应商标准，使得新的传感器集成到嵌入式系统中的成本和时间依然漫长，为了保存客户的软硬件投资，该小组正在积极和欧洲机器视觉联盟合作，以提供标准的跨平台统一方案。

芯原机器学习软件副总裁查凯南则介绍了芯原的神经网络处理器技术。查凯南表示，目前芯原的人工智能算力可满足从0.5 TOPS到200 TOPS，具有同一套软硬件，因此短时间就可实现产品的缩放。查凯南说道，目前人工智能主要是三大领域，包括机器视觉，语音识别以及 像素级别的图像处理。此外，查凯南还特别强调了芯原针对NPU的编译器进行了投资，支持在线和离线编译，满足客户的不同需求。

腾讯科技高级研究员倪辉则是介绍了使用Vulkan的通用神经网络推理ncnn，ncnn是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 CPU 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，天天P图等。Ncnn的好处在于是CPU框架中最快，安装包体积最小，跨平台兼容性中最好的。并且针对手机Arm平台进行了各种优化。

3D图像

科纳斯工业协会开发者关系Kris Rose首先介绍了Vulkan的技术。他表示，Vulkan更强调应用层，淡化驱动层，因此效率更高，开发者可以与GPU更近。Vulkan支持各类平台，因此一次渲染就可以部署到各个平台中，并且MacOS和iOS也可以通过MoltenVK进行移植。如今无论是在游戏，还是非游戏的工业应用中，Vulkan都实现了快速发展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都选择了Vulkan。

芯原IP解决方案副总裁张慧明介绍了芯原的图形处理器相关内容，张慧明表示，芯原持续进行光线追踪的开发，并在NXP iMX8QM（采用了GC7000 GPU）上实现。

同时，针对可穿戴领域，芯原和科纳斯共同推广OpenVG应用场景，实现低成本高性能的UI。

阿里巴巴淘系技术部端智能团队高级技术专家姜霄棠介绍了MNN框架，MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。目前，MNN已经在手淘、手猫、优酷、聚划算、UC、飞猪、千牛等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。具有通用性、轻量性、高性能以及易用性四大特点。Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，尽可能多地满足设备需求，针对主流 GPU（Adreno和Mali）做了深度调优。

Ax株式会社数据科学部AI工程师胡筠介绍了公司情况，ax株式会社目前主要产品是对ailia SDK的开发和销售，这是一个利用GPU进行高速推断的AI框架，通过Vulkan对ONNX格式的AI模型，实现高速推断。另外，ax还提供120多种已训练完的模型，不需要训练即可方便的加载到客户的应用程序中，客户也可以任意选择加载自主训练的模型。

增强与虚拟现实

英特尔AR/VR首席软件架构师，OpenXR工作小组主席Brent Insko介绍了针对AR/VR的OpenXR技术更新。Insko表示，在使用OpenXR之前，应用程序开发人员必须根据每个平台的专有API进行编程，因此无论是从开发的角度，还是从验证和测试的角度，都将成为一项艰巨的挑战。而OpenXR则允许开发人员使用通用的高性能API，OpenXR可以与任何3D API一起使用。Insko介绍道，目前微软已经宣布，Minecraft的新RenderDragon渲染引擎正在通过OpenXR创建其桌面VR支持。目前OpenXR有手部和眼部追踪功能，针对高级用户界面的跨供应商扩展，以及试验性的叠加层扩展。

“我们已经从微软，Oculus和HTC得到了官方一致的运行时间。我们有来自Valve、Varjo和Collabora的预览实现。并且得到了Unreal, Blender, Chrome, Edge的支持。”Insko说道。

芯原多媒体SoC平台首席工程师妙维则表示，XR需要低功耗和低延迟技术来提升用户体验。针对这一用户痛点，需要利用云计算、图像切片、紧耦合的子系统等技术实现。芯原的无需DDR的直接渲染技术，同时满足了高性能和低功耗的需求。

此外，中国移动研究院高级技术人员李可介绍了利用Cloud XR实现教育标准化的应用，弥知科技创始人、CEO张天夫介绍了通过小程序实现WebXR在线制作平台，华为消费者BG AR/VR产品技术总监邹文进则介绍了华为在XR上的成绩，目前来讲在AR建模技术上远高于苹果和谷歌。

sekisan