HBM内存对系统意味着什么

infowei

如果 HPC 和 AI 市场现在需要什么，那不是更多的计算，而是在非常高的带宽下提供更多的内存容量。我们在当前的 GPU 和 FPGA 加速器中有大量计算，但它们受到内存限制。即使在通过使用两代半 3D 堆叠高带宽内存 (HBM) 获得的高带宽水平，我们始终可以使用更多带宽和更多容量来为这些庞大的计算引擎提供数据. 有几种方法可以解决内存带宽问题，内存制造商 SKHynix 和三星电子正在对他们未来的 HBM 堆叠内存采取两种截然不同的方法。前者将密度和 I/O 速度提高到 HBM3。而后者将直接在 HBM2E 内存堆栈内部嵌入处理，因此数据不必总是传输到 CPU 或连接到 CPU 的加速器进行处理和重新存储。从某种意义上说，两者都在减少需要数据进行处理和获取数据进行处理之间的延迟，看看这在市场上的表现会很有趣。一种方法更通用，而另一种方法是特定于应用程序。 关于未来的 HBM3 标准的说法很少，只有三个 HBM 内存供应商是合理的：美光科技、三星和 SK 海力士。他们都希望尽可能长时间地保守秘密，同时推动管理 HBM 的 JEDEC 内存标准。 一般来说，HBM 内存允许四个、八个或十二个 DRAM 相互堆叠并通过硅通孔或 TSV 相互连接，这是一种在 DRAM 内存中构建的电线的说法芯片本身并通过相同类型的微凸点连接在堆栈中相互连接，这些连接用于将芯片相互连接并连接到主板。在 HBM 中，中介层用于将计算元素链接到内存。
虽然 HBM1（没有人这么称呼，但我们打算这样做）让 AMD 和 Nvidia 作为他们 GPU 卡的用户，但直到 HBM2 出现，成本才下降，技术也成熟到足以让 CPU 制造商考虑使用它。使用 HBM2E，HBM 的最新最大变体，带宽和容量都增加了一点，并且HBM 堆栈也越来越高。 HBM1 具有 1,024 位总线宽度，以 500 MHz 运行的四芯片堆栈可以提供每个堆栈超过 100 GB/秒的带宽，这比 32 位 GDDR5 内存要多得多，后者要少得多宽，但运行频率为 1.75 GHz，每个芯片的传输速度为 28GB/秒。同等容量的 GDDR5 内存占用了 19.2 倍的空间（在 1GB 块上），并且消耗的电量也是其三倍多。HBM1 价格昂贵且难以制造，这就是为什么我们没有在所有可以使用它的设备上看到它。HBM1 堆栈有四个芯片和两个 128 位通道，每个芯片或 1,024 位，将四个堆栈放在一个设备上可产生 16 GB 的总内存和 4,096 位的内存宽度，是 512 位宽内存的八倍GDDR5 接口。HBM1 在每个引脚上支持 1 Gb/秒的信号速率。 使用 HBM2，信号速率提高到 2 Gb/秒，并且堆栈上具有相同的 1,024 位宽度，这意味着一个包可以驱动每个堆栈 256 GB/秒。因此，四个堆栈可以让您获得神奇的 1 TB/秒的总内存带宽，并且每个堆栈 8 GB（具有正确的高堆栈）也提供了 64 GB 的潜在最大容量。据我们所知，没有人将 HBM2 与所有八个堆栈一起投入生产。 但 HBM2E（HBM2 的扩展版本）的情况并非如此，每个引脚的信号传输速率提高到 2.5 Gb/秒，每个堆栈的带宽提高到 307GB/秒。理论上，带有 HBM2E 的堆栈可以是 12 个芯片高，使用 2 GB HBM 内存 DRAM 将容量提升到 24 GB。SK海力士和三星都超过了这些水平。三星的 HBM2E保持每个堆栈 8 个裸片和 3.2 Gb/秒的信号传输速率，达到每个堆栈16 GB 和每个堆栈 410 GB/秒，而 SK 海力士将信号传输速率提高到 3.6 Gb/秒并保持不变每个 8 堆栈 16 GB，每个堆栈 460 Gb/秒的带宽。 HBM3 仍然有点神秘，但 SK 海力士最近在这篇文章中给出了一些关于它为 HBM3 代所做的事情的提示。
该公司承诺，预计 2022 年将在系统中实施 HBM3，其信号速率将超过 5.2 Gb/秒，每个堆栈将提供超过 665 GB/秒的传输速率。为了提高容量，SK海力士表示，它可以将 DRAM 芯片堆叠到 16 个芯片的高度，如果内存容量可以再次翻倍到每个芯片4 GB，那么每个堆栈将达到 64 GB，而跨越四个堆栈将达到 256 GB容量和总计至少 2.66 TB/秒的聚合带宽。 这将是惊人的，即使只有一半的容量和大部分带宽，这对 HPC 和 AI 计算也将是变革性的。我们刚刚通过 Nvidia 和 AMD GPU、NEC Aurora 矢量引擎、FujitsuSparc64-IXfx 和 A64FX 处理器以及未来的英特尔“Sapphire Rapids”Xeon SP 处理器体验了这一点，它们都具有 HBM2 或 HBM2E 内存. 我们都希望拥有 8 GBHBM3 内存的笔记本电脑，我很乐意支付额外费用——尤其是如果 CPU 和 GPU 可以共享相同的内存。我们预计 HBM3 的某些变体将使用 512 位总线并且不需要内插器，而其他变体可能会使用内插器来使带宽和容量加倍。所以带 HBM3 的笔记本电脑不一定是疯了。如果事实证明这是真的，那么普通的 GPU 卡也不是。 这使我们达到了我们试图达到的目的。想象一下，如果在 HPC 或 AI 应用程序生态系统中任何求解器和任何合理的数据块都可以轻松地放入 HBM3 内存中，并且不再真正需要 CPU 上的标准 DRAM 内存？也许标准 DRAM 是新的闪存，尤其是像 3D XPoint 内存这样的东西，如果它幸存下来，将成为系统唯一需要的“DRAM”。如果价格/性能曲线像我们预期的那样下降，这是值得考虑的事情。标准 DRAM 总是更便宜，但磁带与磁盘相比，磁盘与闪存相比，闪存与 DRAM 或 3D XPoint 相比也更便宜。虽然很多系统都可以使用普通的 DRAM，但也许所有未来的 HPC 和 AI 系统都将在其 CPU、GPU 和 FPGA 组件上使用 HBM。 也许三星也有一个观点，将处理移到内存内部，我们在这里已经写过很多次了。AMD 正在为美国能源部的 Fast Forward 和 Fast Forward2 研究项目开发内存处理 (PIM) 技术，最近法国内存制造商 Upmem 对这个想法进行了自己的改造。几年前，我们介绍了在威斯康星大学完成的一些调查研究，这些研究检查了许多 PIM 项目。 三星 HBM-PIM 设备将在存储库和 TSV 之间添加 1.2 teraflops 可编程计算单元。这显示了堆栈中的两个计算库和八个内存库。 三星表示，与在其加速器上使用 HBM 内存的系统相比，HBM-PIM 内存将使 AI 工作负载的整体系统性能提高 2 倍，并将功耗降低 70%。 希望两家公司都能尽快谈论他们的 HBM3 和 HBM-PIM 计划。即使我们对嵌入内存的通用矩阵数学引擎的广泛适用性持怀疑态度，您也会引起我们的注意。我们很乐意在这里被证明是错误的，并希望看到一种新型分布式混合计算的诞生。

地沟油

        

rongzhen24

langjitianya丶

907321