元宇宙背后的芯片机会

infowei

从去年下半年开始，元宇宙的概念可谓是科技行业的一个最大热点，各大科技公司均纷纷宣布大力布局元宇宙。目前，普遍认为AR/VR将会成为元宇宙的重要入口，因此也成为了各大公司大力投资的领域。AR/VR硬件领域，Facebook的Quest系列已经成为全球最受欢迎的VR设备，而中国的巨头如字节跳动和腾讯在最近也有大的投资，其中字节跳动收购了中国公司中市场占有率最高的VR设备厂商Pico，而腾讯也在最近收购了黑鲨，将专注于VR硬件设备。AR硬件领域，去年下半年雷朋和Facebook携手推出了第一款面向大众的智能眼镜Ray-ban Stories，中国的华为等公司也纷纷推出概念原型机，而随着苹果的高端AR/VR设备预计在2022或2023年发布，预计未来AR硬件也将走上快速成长的道路。

ARVR硬件的性能对于能够支撑的用户体验极为关键，而其中的芯片也就成为赋能其硬件性能的核心部件。目前，在ARVR市场上，最主要的供货商毫无疑问是高通，其Snapdragon XR系列成为了目前几乎所有VR设备的选择，而在去年年底的高通投资日上，高通CEO Cristiano Amon也着重强调了ARVR（XR）市场将成为高通未来最关键的发力方向之一，并且预计目前相关芯片在2021年已经出货达到千万数量级。而在今年早些时候，高通也和微软在CES 2022上正式发布了在AR领域的合作计划，其中微软和高通将共同开发定制化的Snapdragon芯片用于AR眼镜中，其中将进一步包括对于微软Mesh平台和高通Snapdragon spaces这两大AR开发平台的支持。



从去年到今年的动态来看，ARVR芯片市场正处于高速增长的阶段，而目前高通在这个市场上几乎处于垄断地位。但是，随着该市场规模的进一步增长，一定会有更多的芯片厂商进入该市场。



ARVR芯片的技术门槛


ARVR芯片的技术门槛决定了有多少芯片公司能进入该市场竞争。我们不妨从VR芯片技术开始分析。

首先，从架构上来说，VR芯片的架构基本和其他智能设备的SoC类似，由一个处理器（AP）来运行操作系统并且掌控整体硬件的操作。因此，VR芯片首先需要拥有一个较强的处理器，但是这一点目前来说并非高不可攀——ARM的高性能处理器IP的使用和集成已经成为大多数SoC厂商的标准操作，因此我们认为VR芯片中的处理器并非是一个难以跨越的门槛。

在VR SoC的众多IP中，最重要的决定用户体验的IP就是负责渲染和显示的GPU。目前，VR设备的主要应用还是游戏，而几乎所有的VR游戏都是3D图像（因为3D图像能给用户提供最好的沉浸感体验），因此GPU的性能就决定了这些3D游戏的多边形数量和渲染效果。目前的VR游戏的3D图像质量大约相当于10年前的PC和主机游戏，因此随着VR游戏市场的扩大和生态的形成，游戏图像质量将会成为主机之间竞争的核心指标，而这也将推动对于VR芯片中GPU渲染能力的需求。与桌面级GPU不同的是，VR芯片中的GPU必须考虑能效比，因为目前主流的VR设备都是依靠电池来供电，因此能效比将决定VR设备的续航时间，同时也需要保证VR设备散热没有问题。

除了游戏图像质量之外，VR设备中用户体验的一大需求就是分辨率。目前VR设备中一个重要的被用户体验问题就是屏幕分辨率不够所产生的“纱窗效应”（即用户看到的图像好像隔了一层纱窗），因此VR设备对于4K甚至更高分辨率的需求更甚于手机。因此，我们预计在未来几年中VR设备的屏幕分辨率也将是各大厂商竞相追逐的目标，这也需要VR芯片的GPU能有足够的性能来支持高分辨率的屏幕。

在GPU之外，VR芯片中另一个最重要的IP当属人工智能加速器。与传统手机中不同，VR设备中的众多交互都需要人工智能的介入。举例来说，VR设备一个重要的需求就是设备和用户的定位和追踪，并且把这个信息融合到游戏的虚拟环境中，这就需要使用人工智能中的SLAM技术才能高质量地实现。另外，目前VR设备中，交互越来越多地使用手部追踪和眼部追踪等先进技术来实现自然的交互，而这些追踪都需要使用人工智能模型，而且随着追踪精度的增加，模型需要的算力也在上升。最后，人工智能也是一个解决GPU渲染能力瓶颈的重要技术。屏幕分辨率上升和用户对于图像质量的追求给GPU很大的压力，但是事实上用户在同一时间并不会注意到屏幕上所有的像素点，而只会关注他们眼睛聚焦地方附近的像素点。因此，一个技术解决方案就是选择性渲染（foveated rendering），即使用眼部追踪技术结合人工智能模型来判断用户眼睛聚焦的位置并且在相应的地方做高质量渲染，而在用户关注不到的地方则可以降低渲染质量，从而减轻GPU的压力。目前，该技术已经使用在了Sony的PSVR2中，未来可望会用到更多的VR设备中。

从上面这些分析中，我们可以看到VR设备中的人工智能甚至比起在手机中更重要，因为这些人工智能模型首先是赋能用户体验重要特性的关键，同时也必须实时运行在VR设备中，而难以依靠云技术。这些人工智能模型的复杂度决定了VR芯片上必须有一个足够强力的人工智能加速器，同时拥有强算力和很好的能效比，才能支持这些应用。

除了GPU和人工智能之外，无线连接也是VR芯片中较为重要的部分。对于一些高质量游戏，目前的主流做法是让游戏运行在桌面计算机上，同时把图像通过串流（stream）的方式传送给VR设备，而这也就需要稳定和高速的WiFi连接。
今天来看VR芯片的需求和门槛已经较为明确，而相对而言AR芯片还处于较早期。与VR相比，AR眼睛无需连续运行大量的图像渲染，但是需要能实现全天候佩戴，而且对于重量有非常严格的需求（例如重量与一般的墨镜相当），这就进一步限制了眼睛上的电池容量，因此对于芯片来说会需要更进一步做低功耗优化。无论从Magic Leap还是微软的Hololens来看，AR图像渲染也是AR眼镜中一个极其重要的用户体验，因此对AR芯片的GPU将是一个挑战，即如何平衡渲染能力和功耗。人工智能也是类似，AR眼镜也需要对用户做SLAM，并且也需要支持手部追踪这样的交互，因此我们认为AR芯片可以认为是更低功耗版的VR芯片。



ARVR芯片与中国


目前，ARVR芯片主要还是高通占绝对的领先地位，但是随着ARVR市场的进一步成熟，我们认为中国的芯片公司有相当的机会。

我们认为，ARVR芯片的基本架构与智能手机芯片类似，只是其中的IP的性能需求和重要性与智能手机芯片略有不同。例如，蜂窝网络modem是智能手机芯片中的绝对核心，同时也是中国芯片行业花了非常久时间才逐渐追上的领域，但是在ARVR中蜂窝无线网络并非必选项；相反，ARVR芯片中最关键的AP、GPU、人工智能加速等IP中国的芯片公司都已经有相当多的经验，因此我们认为从设计角度来说，只要中国的芯片公司能够和相关的ARVR设备公司合作来深入理解芯片的具体需求，我们对于中国芯片公司能在未来几年内进入ARVR领域持乐观态度。

另一个角度来看，由于ARVR芯片对于芯片的功耗和能效比有很强的需求，因此先进的半导体工艺将会对于这类高能效比芯片有很大帮助，预计未来几年内都会使用最新的半导体工艺（7nm及以下）来制造。从这一点上中国的半导体制造还需要进一步追赶才能从ARVR芯片的发展中获得收益，其中不仅仅包括半导体芯片制造工艺，还包括高级封装这类能从另一个维度提高整体系统能效比的核心技术。

30_hao

feihangdan

ARVR芯片主要还是高通占绝对的领先地位，但是随着ARVR市场的进一步成熟，我们认为中国的芯片公司有相当的机会

00000845

mark1030

魏伟

dearzhang

maogege-chen

windowsxp2012

九月初