美光针对现代数据中心推出的最快内存 —— HBM2E

作者：美光全球显存业务主管 Bill Randolph

数据中心在不断发展，以解决快速高效地存储、移动和分析数据时所面临的挑战。在很大程度上，其不断发展是由如下所示的四种高性能应用趋势所推动的。

传统的游戏和专业视觉应用主要集中在个人电脑领域，采用快速 GDDR 内存。但随着人工智能（AI）训练和推理以及高性能计算的出现，数据中心越来越多地使用速度最快的内存，即高带宽内存（HBM）。这些领域的应用架构师需要找到尽可能高的带宽。

让我们花点时间思考一下原因。究其原因就是数据，海量的数据！

数据正在不断加速增长。据IDC《2021年全球数据圈（Global Datasphere 2021）》报告，2018年全球数据总量为 36 泽字节，2020 年增长至 64 泽字节，2024 年将继续增长至 146 泽字节。

AI、深度学习、机器学习离不开海量数据。在实现智能方面，AI 是游戏规则的改变者，能够带来超越人类主导发现的新洞察。过去我们为计算基础设施编写程序，而如今我们可以利用海量数据来对它们进行训练，从而服务于智能农业、个性化教育和精准医疗等广泛领域。

美光提供 GDDR 和 HBM 等超带宽解决方案，赋能分析引擎，帮助训练下一波 AI 算法。例如，一个拥有超过 13 亿个参数的 AI 模型无法放入单个 GPU（即使是拥有 32GB 内存）中。因此，扩展内存容量可以让更大的模型/更多的参数留在离核心计算更近的地方。通过增加带宽和容量，减少内存和存储解决方案带来的延迟，我们正在加速实现洞察，帮助客户获得更大的竞争优势。

基于加速器的多组件异构方法

为了应对数据密集型工作负载和应用程序的增长以及不断演变的应用场景和新的业务机会，数据中心的基础设施正在重新被定义。数据中心传统上是以 CPU 为中心的，通过使用内存（如 DDR4）和存储（如 SSD）来处理数据。随着 AI 等现代应用场景和工作负载的出现，这种传统架构已经成为无法让 CPU 以所需的高性能速度运行的瓶颈。

为解决这种越来越大的性能差距问题，现在的方法是采用专用硬件来解放 CPU 的某些功能。这种基于加速器的新计算模式正逐渐成为异构数据中心发展的关键所在。现代数据中心的新架构部署了各种组件，分别侧重于提供特定功能或者处理不同类型和格式的数据，从而显著提高整个系统的速度和性能。

对于那些使用 DDR4（很快将是 DDR5）计算内存的传统 CPU，我们添加了用于加速的GPU，以及用于其他功能的 FPGA 和 ASIC。现代数据中心可以使用这些不同的计算功能，而且，使用不同类型的内存对于满足处理各种工作负载所需的高性能也是不可或缺的。

这就是 HBM 出现的原因——它使得性能更上层楼。Micron HBM2E 是最新一代的HBM，也是我们最快的 DRAM，让我们能够为客户带来更好的洞察力。

HBM2E：超带宽解决方案中的明星

美光凭借不断发展的内存解决方案而引领市场，并通过满足新兴市场应用不断变化的需求，从而改变世界。

HBM2E 使用硅通孔（TSV）通道来构建垂直堆叠的 DRAM。（详细信息请参阅美光技术简报“集成并使用HBM2E内存”。）美光研发堆叠 DRAM 已有 20 年的历史，在此过程中获得了数千项专利。（美光研发主管 Akshay Singh 的文章“堆叠硅奇迹”中有更详细的阐述。）在未来的堆叠式 DRAM 创新研究中，我们计划开发新产品，以满足更多数据密集型工作负载的高性能和低功耗需求。

美光用于 HBM2E 的垂直堆叠 DRAM，并通过硅通孔（TSV）通道连接各层

高带宽内存的架构被寄望于满足业界对于带宽、功耗和外形尺寸方面的需求。它现在是 AI 行业标准内存解决方案，广泛应用于数据中心。HBM2E 是 HBM 系列产品的第三项标准： HBM1、HBM2 和现在 HBM2E。HBM2E 提供了非常宽的多通道 I/O——即 1,024 位宽，并且拥有非常短的物理通道。关键是它在极小的尺寸上实现了极高的内存密度。

HBM2E 位于非常靠近 GPU 或者 CPU 的中介层上，通常被放置在同一个封装或者散热机箱中。HBM2E 具有极宽的 I/O 总线和更高的密度，为现代数据中心基于加速器的计算模式提供了所需的高性能和高能效。

关于数据中心加速器内存产品线和美光高性能内存的逐项比较，请参阅白皮书“超带宽解决方案的需求”中的表 1。HBM2E 更强的 I/O 性能、带宽和能效使其成为美光超带宽解决方案产品线的基石。

总结

随着高性能应用需求推动着下一代系统架构和异构数据中心的发展，美光 HBM2E 内存和超带宽解决方案提供了关键的内存和先进的系统性能，从而帮助将数据转化为洞察。如需更多资料，欢迎点击micron.com/hbm2e。

Bill Randolph

Bill Randolph 现任美光全球显存业务总监，负责业务开发，职责包括发展美光合作伙伴业务，重点是用于游戏机和高端图形市场的美光高速内存解决方案产品线。

Bill 在美光任职 10 余年，曾在生态系统发展部和消费类/图形业务开发部担任过多种职务。他于 1990 年进入 DRAM 行业，之前曾在三菱和奇梦达从事过设计、开发中心管理和销售等工作。Bill 拥有美国佛罗里达州立大学的电气工程学士学位，以及乔治亚理工大学的电气工程硕士学位。