Arm在数据中心的价值：黄氏定律背后，英伟达打的什么算

shuszhao

在Aspencore全球分析师共同发布的《2021年全球半导体行业10大技术趋势》一文中，有一项提到了，HPC数据中心专用加速的趋势递进。其中特别提到英伟达的DPU，这种类型的硬件，几乎可以代表数据中心的某一个发展方向。
这个议题甚至恰好能够解答，英伟达为何要收购Arm，以及AMD为何要收购赛灵思。在近期英伟达GTC China首日主题演讲之后的圆桌论坛上，英伟达全球业务运营执行副总裁Jay Puri谈到了有关英伟达收购Arm的问题。

                               
登录/注册后可看大图

“Arm已经取得了巨大成功，但他们获得的成功大部分集中在移动端，更多的机会在等待他们探索。Arm应当发挥显著作用的地方，还包括数据中心与PC。但这个市场的涉足其实并不简单，数据中心、云和PC领域是另一回事。”Jay Puri提到，“从技术上来看，Arm在这一领域是完全没问题的。很多探索中的例子都表明，技术不是问题。”
“在市场方面，数据中心未来的重要工作是围绕人工智能、加速计算的。英伟达在这个平台很成熟，我们有可用的完整堆栈，有所有必要的合作伙伴，生态系统庞大，有超过200万开发者；很多初创企业、行业研究都在进行中。”“一旦Arm成为英伟达的一部分，我们将能够促进Arm在数据中心取得成功。”
“这样一来，市场就会有x86之外可行的替代方案，不仅限于移动领域，数据中心、PC等领域都如此。竞争能够促进进步、推动创新。”这番话实则已经非常明晰地交代了，Arm对于英伟达的主要价值在哪里：数据中心（和可能的PC）。本文尝试扩展HPC数据中心的专用加速趋势这一话题，亦可从中看看英伟达的野心有多大。


Arm对数据中心的作用有多大

2020年，HPC领域在相关芯片架构层面发生过一件大事：富士通（Fujitsu）发布名为富岳（Fugaku）的超算，其中的芯片为A64FX。这颗芯片在微架构层面其实是很有意思的。首先它整体上采用monolithic的设计，而不是现在流行的chiplet（比如AMD Epyc）。它既像CPU，又有点儿像GPU，而且片上还集成了HBM2存储——这样一来，A64FX的板卡就比较奇特：板卡上没有RAM，因为已经集成在了片上（chip level）。

                               
登录/注册后可看大图

我们来简单看看这颗芯片微架构的独特之处。从上面这张图来看，核心周围的4个die就是HBM2存储，连接到四个HBM2 Interface之上，算是与核心靠得很近了，所以主内存到L2 cache的带宽就会比一般的HPC系统要明显更大（1024GB/s），单芯片的容量也达到了32GiB。
核心部分，A64FX整体上是基于Arm v8.2A架构的，扩展了SVE（Scalable Vector Extensions）——这种扩展是专门针对HPC科学负载矢量化准备的，属于NEON扩展指令集的补充。A64FX具体采用的是512bit SVE。这一点其实并没有什么。
这颗芯片真正有意思的地方是，它并没有什么加速器，die上也没有集成专门的GPU之类的处理器。其行为方式很像GPU，但却是颗实实在在的通用CPU。A64FX内部总共分成4组，分别是4个CMG（core memory group），每组13个核心（所以总共是52个核心，其中48个是活跃核心，其余4个为OS以及冗余策略预留）。CMG内部每个核心依次连接，而不同CMG之间采用类似于Intel Skylake的那种Ring Bus环形总线连接。作为一颗通用处理器，A64FX就是可以跑常规操作系统的，虽然它内部看起来还挺像英伟达的GPU。

                               
登录/注册后可看大图

这颗芯片在设计上就是为HPC负载准备的，尤其是科学模拟、数据分析等。现在比较主流的方案，是用GPU来加速这些活儿，主要是因为GPU能够灌入大量数据，并做高度并行计算，然后同时输出大量结果。事实上，HPC的存储带宽需求一直很大，包括气象模拟、各种流体力学、量子力学等研究，以及计算机视觉、机器学习一类数据分析工作，都要求大量数据的迁移，在大量核心之间通讯、共享。
A64FX从设计思路上，也能干这样的工作：持续做SIMD计算，而且还有不小的片上存储资源和相当大的传输带宽。另外富士通开发了一种名为“Tofu”的互联方案，据说在能效、带宽和延迟方面表现都非常好，宣传上提到是显著优于AMD和Intel的方案的（据说是比Xeon/Epic，有10倍的能效优势）。此外，SVE矢量扩展，及其对FP16、FP32等数据类型计算的原生支持，都令其相当适用于HPC负载。
从已公开的数据来看，A64FX单芯片在性能上也远优于Intel Xeon Platnium 8168、NEC SX-Aurora这类方案，以及部分测试优于Nvidia上代的Tesla V100。其实相较传统通用CPU的性能优势还是意料之中的。因为A64FX从设计上来看，是明显更偏向专门针对HPC做了"domain-specific"的优化的，与此同时还保有了CPU的通用性。

                               
登录/注册后可看大图

用简单的话来概括A64FX的思路，它很像把HPC方案中CPU+GPU+RAM的传统组合凝聚到一起，另外也有比较全面的大规模扩展方案。这颗芯片预计2021年会出货给亚马逊、谷歌、微软这些云供应商。
当然不能就性能、效率，以及其设计就简单认定，A64FX就一定能够在HPC领域掀起多大的浪，生态构建也属于重要的工作。但很显然，Arm在HPC、数据中心之上发光发热，至少就技术、性能层面来看，是没有任何问题的；而且Arm具备了相当的弹性，是x86平台可能无法给予的；另一方面，Arm在端侧正在对x86发起新一轮猛攻，这可能也将有助于Arm在数据中心的生态构建。


GPU在数据中心的发展令人咂舌

富岳以及A64FX的发展思路未必就代表了数据中心的未来，电子科技及半导体领域从来不是效率、性能说了算的，而且我个人也觉得A64FX在微架构层面虽然有创新，但它作为一种通用芯片，在专用计算的"domain-specific"这一点上仍然可轻易被超过；比如几个月前，Graphcore二代IPU的发布会就特别提到了，算力相较A64FX的超越。
老祖宗构建起来的架构，其实很难在短期内被轻松推翻。只不过传统CPU+GPU+RAM的发展方向，本身就在不停发生变化。就好像多年前应该不会有太多人想到，GPU、FPGA加速卡这类硬件可以在数据中心活得这么滋润。
英伟达最伟大的发明，大概就是CUDA和GPGPU了。这将GPU扩展到了更多市场。2016年黄仁勋在GeForce 1080 Ti发布会上提到最多的词还是rendering和graphics；但在2020年GeForce 30系列GPU的发布会上，Graphics这个词被提及的次数却远远少于RT core、AI等。这表明英伟达的GPU市场，早就扩展到了游戏、图形计算之外。
即便AMD刚刚发布的Radeon GPU在性能上将近做到与Ampere架构GeForce的齐头并进，AMD Radeon的市场与英伟达依然是不可同日而语的。
我在去年GTC China的报道中提到，2015-2019年英伟达的营收增长速度之快，令这家公司不像是个已经步入成熟期的企业。这主要是源于GPU在数据中心业务上的风光正盛。而且这个趋势在2020年竟然还在持续，甚至可以用“飙车”来形容。

                               
登录/注册后可看大图

英伟达数据中心业务云霄飞车般的营收增长
英伟达最新一季（FY2021Q3）的财报显示，公司季度营收47.3亿美元，上涨57%。值得注意的是，其中数据中心业务的营收同比增长达到了162%——而且这还是在持续多年增长之后的持续增长。在谷歌云、微软Azure之后，AWS、Oracle Cloud、阿里云都相继宣布了Nvidia A100可用；选择英伟达平台针对AI相关服务做AI inference越来越多；当然英伟达数据中心业务的强势，也离不开Mellanox在InfiniBand等方面的增长。
相较之下，英伟达游戏业务37%的增速虽然也很亮眼，却在增长性上相形见绌了。专业视觉以及汽车业务的营收下滑，也就显得没那么重要了。去年的分析文章中，我曾大致估算数据中心业务占到英伟达整体营收的1/4，仅次于营收占比过半的游戏业务。今年的情况预计又会发生较大变化。以这种成长速度，数据中心很快就会成为可与其游戏业务相提并论、并驾齐驱的业务了。
这其实很大程度上代表了数据中心市场，GPU这类型的硬件已经占据了多重要的地位。可见市场对于性能和效率的渴求还是疯狂的，何况数据中心市场客观上还受到了新冠疫情的推动。
那么这和Arm又有什么关系呢？


DPU是英伟达野心的承载

英伟达也在GTC China期间宣布，多家中国顶级云服务提供商及系统制造商采用其A100 Tensor Core GPU。阿里云、百度智能云、滴滴云、腾讯云等云服务提供商都推出了搭载A100的云服务及GPU实例。A100是英伟达这一代Ampere架构，定位在数据中心平台的GPU产品，被英伟达称作“最强性能的端到端AI以及HPC数据中心平台”。
Ampere架构是英伟达在2020年年中正式官宣的。消费端的GeForce 30系列，以及上述A100都可以说是Ampere架构产品。实际上英伟达如今在热推的另一类产品，文首提到的DPU也有Ampere架构GPU的身影：BlueField-2X DPU板卡上就加入了一枚Ampere架构的GPU，用于AI加速。
这里的DPU是相当值得一谈的。抛开Ampere架构不谈，在前两个月的GTC大会上，英伟达正式宣布了BlueField-2/2X DPU（data processing units）的推出。DPU这个概念最早应该是Mellanox提出的。英伟达在新闻稿中提到，DPU采用data-center-infrastructure-on-a-chip架构，“突破性的网络、存储和安全性能”。直译过来，就是芯片上的数据中心基础设施。
本月GTC China期间，好几篇来自英伟达的新闻稿都提到了DPU或相关信息：包括公有云厂商Ucloud基于英伟达的BlueField DPU研发，“并于上半年推出的裸金属物理云1.0产品，通过DPU集成的多核Arm CPU快速将物理云基础架构软件从x86迁移到DPU中”。而且“Ucloud进一步于下半年研发并推出裸金属物理云2.0产品”，其中也包含了BlueField DPU本身的更多特性。
在Mellanox被英伟达收购之前，DPU实际上是Mellanox针对下一代SmartNIC的一个设想，将其networking的技术，和Arm做结合，分担主系统的更多工作，包括软件定义网络、软件定义存储、专用加速引擎等。2019年BlueField产品很低调地发布了。英伟达后续对BlueField-2，也就是DPU二代产品的定位有了进一步的延展。

                               
登录/注册后可看大图

所以今年发布的其实是二代DPU。BlueField 2芯片本身包含8个Arm Cortex-A72核心，以及两个VLIW加速引擎；然后再加上Mellanox最拿手的针对网络连接的ConnectX-6 DX NIC（网络适配器）。
简单来说，DPU是数据中心的另一个domain-specific加速器，从主CPU分担networking、存储和安全负载。这其实是英伟达在GPU产品于数据中心市场大获成功后的又一步扩张举措。与此同时进一步消除x86 CPU在数据中心的重要性。

                               
登录/注册后可看大图

用Mellanox的话来说，DPU是将计算功能，与数据靠得更近了（data-centric architecture），取代以前还要把数据专门移到计算所在位置的那种模式（compute-centric architecture）。
更具体地说，BlueField-2相对而言是达成了这个目标的；而BlueField-2X则是在板卡上给DPU再加上了Ampere架构的GPU（和EGX A100好像有点类似）——英伟达称其为AI-powered DPU。此处多加的GPU价值主要是实时的安全分析，包括识别异常流量，加密流量分析，识别恶意行为，以及动态安全组合、自动响应等。

                               
登录/注册后可看大图

至此，其实英伟达已经有能力将整个系统，包括CPU、NIC、加速器、安全都放到一个SoC上，再搭配自家GPU，基本上是可以无视x86的存在的。从英伟达公布的DPU产品路线图来看，后续还会有BlueField-3和4的问世。
BlueField-3其实是加强版的BlueField-2。而BlueField-4则计划在单芯片性能上就打败现有DPU+GPU的组合。英伟达计划BlueField-4应可提供400 TOPS的AI算力。如此一来，从GPU在数据中心做AI、数据分析及HPC，到如今DPU接管网络、存储、安全等关键任务，以及将来DPU可能把这些加速的活儿都干了。

                               
登录/注册后可看大图

DSP应用于网络安全的一个例子：当两名开发者使用Omnivers高吞吐流app进行实时的工作时，一台设备是Vmware Cloud Foundation + BlueField-2 DPU，另一台则是传统架构，在遭遇DdoS攻击时，两种架构的CPU占用率对比。右边这台服务器会因为数据包泛红，致工作被打断；而左侧服务器，DPU自己就能够识别并丢弃这些恶意数据包
与此同时，英伟达也推出了配套的DOCA软件栈，就类似于GPU世界的CUDA那样。英伟达这两年一直在宣称自己是家软件公司。那么当为开发者提供SDK，这片市场的空前增长，就像现如今的GPU那样，是为英伟达真正统领数据中心市场的野心所在。
而且英伟达现有的软件开发能力，还能持续为DOCA添砖加瓦，包括SDK扩展支持、各种库的增加：眼见CUDA如此的兴盛即知DPU将来的潜力了。与此相较，媒体渲染的什么黄氏定律（Huang’s Law）都不过是为此服务的营销宣传罢了。

                               
登录/注册后可看大图

Arm将在此间扮演什么样的角色？回想文首Jay Puri在GTC China首日的圆桌论坛上的发言，是否变得明朗许多？在DPU的版图上，Mellanox早已是英伟达麾下一员，就剩Arm了。想到此处，感觉英特尔在现如今的时代格局下，还真是有点儿“谁都在针对我”的处境。
这或许也能一定程度解释，为何AMD要收购赛灵思。另外，Jay Puri发言中还提到了，Arm理应在PC领域也发光发热，这是否是在暗示，英伟达或许还有在消费市场一搏的打算？