人工智能/机器学习高带宽需求，催生HBM3内存子系统

shuszhao · 发表于 2021-10-2 08:52:29

随着在人工智能/机器学习（AI/ML）领域越来越多的厂商不断发力，内存产品设计的复杂性也快速上升，并对带宽提出了更高的要求。针对神经网络、AI训练等在内存带宽需求上面临的越来越高的挑战，Rambus公司根据市场的具体需求成功推出了市面上首批支持HBM3的内存子系统。
日前，在Rambus HBM3媒体沟通会上，Rambus 大中华区总经理苏雷和Rambus IP核产品营销高级总监 Frank Ferro向我们进行了详细讲解。

什么是Rambus？

首先，Rambus大中华区总经理苏雷向我们介绍了Rambus及其行业生态系统。据介绍，Rambus是一家业界领先的Silicon IP和芯片提供商，成立于20世纪90年代，总部位于美国加州，在欧盟、亚太都设有分支机构。Rambus全球员工现在有600多名，由于最近又完成了对AnalogX和PLDA的收购，后续会增长到800名左右。此外，Rambus也是一家纳斯达克上市公司，持有3000多项基础专利，在过去一年保持着高速的业务收入增长。特别是面向内存领域的缓冲芯片产品，市场表现优异，并预计会在未来的DDR5时代取得更突出的成绩。

Rambus产品方向主要围绕数据中心，从其企业名字Rambus（RAM+bus）也可以看出这个特点。该公司使命是让数据传输更快、更安全。另外，Rambus非常重视中国市场，在中国大陆和台湾都相应设有办公室，拥有专门的本地服务团队。
从行业背景上看，数据中心的快速增长正驱动着技术的需求和发展。在大数据时代下，数据量持续激增，年复合增长率达到35%，各种数据开始加速向云迁移，带来了云服务的蓬勃发展，并最终驱动了数据中心的持续增长。另外，物联网设备的数量也日益增加，开启了万物互联的时代。越来越多的数据开始运行在外部，从而让业内对数据安全的担忧与日俱增。最后，在大数据的处理方面，人工智能和机器学习（AI/ML）的使用率也将日益提升，预计到2025年，超过25%的服务器出货将会专供于人工智能领域。
在AI/ML当中，内存和I/O带宽是影响系统性能至关重要的因素。这又促进业界不断提供最新的技术，去满足内存和I/O的带宽性能需求。因此，Rambus率先在业界推出支持HBM3的内存子系统，速率可达8.4Gbps，能够提供超过1TB/s的内存带宽，“这是非常震撼的技术实现。”苏雷表示。
Rambus的企业使命，让数据传输更快、更安全，很好地契合了数据中心的整体技术演进需求。
下图从生态系统（友商）的角度，很好地诠释了Rambus在整个行业里面的角色和位置。

在IP 核领域，Rambus的友商有新思科技、楷登电子、ARM、瑞萨电子、澜起科技。在晶圆厂领域，该公司和台积电、Global Foundries、三星都有非常紧密的联系——对于一个IP厂商，IP产品的开发与晶圆厂是强相关的。
再上一层是一个简单的客户列表，主要是一些内存模组和芯片的厂商。“特别说明的是，他们大部分也是我们的专利授权客户，所以和Rambus有着非常紧密的合作关系。”苏雷说。
再向上一层是OEM厂商——生态系统中是非常重要的一层，引领着新平台的开发和市场导入，会影响下一代平台何时进入市场，以及提出对内存厂商的需求。
最后一层是云服务厂商，他们在生态系统中也变得越来越重要。越来越多的云厂商围绕着计算和存储开始定义和建设自己的体系架构，去发掘和解决遇到的市场新需求，比如关于AI、CXL。随着更多的数据服务开始运行在云上，云服务商对数据安全有着越来越高的需求和重视，与Rambus的联系也变得更加紧密。

具有8.4Gbps数据传输速率的HBM3-Ready内存子系统IP

接下来，Frank Ferro介绍了该公司最新推出的支持HBM3的内存子系统IP。“基于Rambus在整个HBM领域的专业知识，我们推出HBM3-Ready内存子系统解决方案，其中包括完全集成的PHY和数字控制器，可以实现高达8.4Gbps的数据速率，这也是业界最领先的。”Frank Ferro说。
据介绍，Rambus从2016年就已经进入HBM的市场，这也得益于其之前在行业领域长期的专业知识累积，其中包括高速接口、芯片以及2.5D等复杂IP的提供。
下面来看一下该HBM3-Ready内存子系统的产品亮点以及具体定位的目标市场：
首先，其数据传输速率高达8.4Gbps/pin，带宽超过1TB/s，采用标准的16通道设置，可以达到1024位宽接口。通过这种方式，可以实现更高的颗粒度。
其次，可以支持市面上所有主流的供应商所提供的DRAM，并大幅提高整个产品的密度。除了针对AI/ML训练的市场之外，HBM3还可用于高性能计算及其他数据中心相关的主要应用场景、图形应用程序和具体网络应用。
关于8.4Gbps数据传输速率的产品定位，其实也有一些具体的原因：
首先，DRAM是远远达不到这个数据传输速率的。
其次，回顾HBM2E的时代，刚刚推出的时候，HBM2E的数据传输速率大概可以达到3.4Gbps左右，然后逐渐上升到3.6Gbps。所以，与之前HBM产品一样，HBM3也会有一段未来继续发力的时期，并在数据传输速率上有更大的提升。
此外，8.4Gbps的速率选择也是出于未来产品规划的一些考量，同时也可以为客户和设计师提供更高的设计裕度，为未来的产品开发做好后续准备。
总的来说，HBM3产品在数据传输的速率、带宽以及密度上都有着独一无二的优势，并不仅仅是更小的尺寸。
下图是HBM3-Ready内存子系统产品的主要架构。最上面有4块DRAM内存条，通过TSV堆叠的方式叠加在一起；下面是SoC；再往下是中介层；在中介层下面就是绿色的封装。这些部分组成了整个2.5D的系统架构。

“作为一个完整的内存子系统产品，我们提供的并不仅仅是IP，同时也提供泛IP，以及整个系统的具体设计，包括经过验证的PHY以及数字控制器。此外，我们还会在中介层和封装上给客户提供更好的参考设计支持和框架，因为这些也是整个内存子系统领域非常重要的环节。”Frank Ferro指出。
“2.5D系统架构的HBM内存在市面上还是比较新的，优先采纳这些新技术的客户也需要得到我们IP提供商在中介层和封装参考设计方面的支持，以在设计过程当中获得更加好的信号完整性。”
得益于在HBM领域多年的经验和专业知识，Rambus在市场份额上排名第一，同时已经赢得了超过50个设计订单，这些订单来自数据中心、ASIC的设计方等。“目前为止，我们的控制器已经应用在了HBM市场超过85%的产品当中。”Frank Ferro说。
下图简单介绍了HBM性能的历史演进。最开始的HBM1，数据传输速率大概可以达到1Gbps左右； 2016年的HBM2，最高数据传输速率可以达到2Gbps；接下来是2018年的HBM2E，最高数据传输速率可以达到3.6Gbps。

今年海力士已经发布了其HBM3产品，公开的最高数据传输速率达到5.2Gbps。尽管JEDEC尚未发布HBM3相关的标准，但是Rambus也推出了其HBM3产品，并将最高的数据传输速率提升到8.4Gbps。
Rambus与美光、海力士还有三星等厂商有着非常密切的合作，为这些DRAM厂商提供HBM PHY以及其他相关方面的支持。“之所以我们推出 HBM3产品，目前为止在数据传输速率上比海力士更高，也是因为我们能够未雨绸缪，更好地为客户做好预先准备，应对后续更高的DRAM要求。”Frank Ferro表示。
上图“右上方有一个用于AI训练的SoC产品，是去年Rambus与中国的一家企业合作发布的，采用了4HBM DRAM堆叠的架构设计。”Frank Ferro补充说。
选图总结了Rambus在HBM领域的性能和生产相关的经验。右下方是Rambus的一款测试芯片，集成了PHY和控制器，是HBM2E的DRAM，数据传输速率可以达到4Gbps，到目前为止依旧是行业的最高水平。

右上方是其HBM的一块开发板，从中可以看到，Rambus所有的测试芯片本身就集成了PHY和控制器。“如之前所提到的，Rambus在HBM领域市场份额排名第一，已经拥有超过50个设计订单，同时我们的芯片开发都是一次成功，无需返工，也支持如台积电等的多制程节点。“Frank Ferro谈到。
其次，Rambus的PHY产品是通过完全集成的硬核方式进行交付，在交付之时已经包括了完整的PHY、I/O以及Decap，方便客户进行系统集成。
对于I/O设备产品来说，客户也需要厂商提供非常强大的技术以及相关的调试纠错支持。Rambus不仅可以将产品提供给客户，还可提供针对ASIC power up的现场客户支持，帮助客户进行现场纠错，实现更好的设备调试启动。
不同的提供商的生产2.5D流程本身也不一样，是一个非常复杂的过程，不仅需要提供用于生产中介层的硅产品，还有根据厂商各有差异的封装以及最后组装。而Rambus可以同时支持OSAT和CoWoS生产2.5D流程。
最后，Rambus与各大DRAM供应商有着非常密切的合作关系，测试芯片已经过充分的双向验证以及测试。

总结

Rambus正式推出的HBM3-Ready内存子系统，包括完全集成的PHY和数字控制器，最高数据传输速率可达8.4Gbps，拥有目前业界最高的性能。
对AI/ML、HPC等领域的客户来说，他们对TB级带宽有着非常强的需求，而Rambus全新的HBM3-Ready内存子系统可以满足其在TB级带宽领域加速的性能标准。
完全集成的HBM3内存接口子系统IP解决方案，包括了经过优化的PHY和控制器，为客户提供中介层和封装的物理参考设计，简化客户的设计流程，从而加快产品上市时间。