HBM拯救了人工智能

我相信我们都熟悉摩尔定律，说实话，摩尔定律实际上更多的是一种随意观察。早在我们称之为 1965 年的那个时代，仙童半导体公司和英特尔公司的联合创始人戈登·摩尔（也是英特尔公司的前首席执行官）就提出，可以在芯片上制造的晶体管数量每年翻一番。他还预测，这种增长速度至少还会持续十年。

1975年，回顾过去的十年并展望下一个十年，戈登将他的预测修正为每两年翻一番，这是大多数人提到的版本。

一般来说，摩尔定律也反映了微处理器提供的计算能力的大小。起初，处理能力的提高是通过更多晶体管和更高时钟速度的结合来实现的。后来，随着时钟速度开始趋于稳定，行业转向多核。最近，我们开始使用创新架构和硬件加速器来扩展多核范例。而且，至于未来，我们可能会反思一下从诺贝尔奖获得者量子物理学家尼尔斯·玻尔到传奇棒球运动员（兼哲学家）约吉·贝拉等所有人的名言：“做出预测是很困难的，尤其是关于预测未来。”

我自己说得再好不过了。我能说的是，你可以在 10 年后问我，我会告诉你发生了什么。

人们常说，生命中唯一两个确定的事情就是死亡和税收。我个人认为我们可以在这个列表中添加“more umph”，其中“umph”可能表现为“对增加处理能力、内存大小、通信速度的永不满足的需求的指数级增长*”，这样的列表还在继续。（*一旦你开始这么说，就很难停下来。）

话虽如此，大多数人给人的印象是对跟踪摩尔定律曲线的处理能力相对满意（如果不使用对数 Y，它就是一条曲线） ，至少直到诸如高性能计算（HPC）和人工智能（AI）之类的东西出现前。

早在 2018 年，OpenAI 的员工们就在他们的《人工智能和计算》中指出——这家公司向我们介绍了 ChatGPT，讽刺的是，现在它不再需要任何介绍（甚至我 93 岁的母亲也知道这一点），论文认为人工智能可以分为两个时代。在第一个时代（从 1956 年到 2012 年），人工智能训练的计算需求遵循摩尔定律，大约每两年翻一番。2012 年，我们到达了一个拐点，第二个时代开始了，计算需求开始每 3.4 个月翻一番！

现在，你可能会说“啊，人工智能，你能做什么，嗯？” 然而，正如我们之前文章指出的那样——英特尔的新架构进步将定义下一个十年的计算吗？——在 2021 年英特尔架构日上，Raja Koduri（当时是加速计算系统和图形 (AXG) 集团的高级副总裁兼总经理）指出，英特尔看到了处理能力加倍的需求（跨领域）每 3 到 4 个月翻一番（不仅仅是 AI）。

现在，拥有强大的计算能力固然很好，但前提是你能为处理器提供尽可能多的数据（“给我 Seymour！”）。

当然，我们可以将数量惊人的双倍数据速率同步动态随机存取存储器（DDR SDRAM，简称 DDR）封装在与处理器相同的板上，但我们仍然在消耗功率并增加从处理器接收数据的延迟。处理器。当前的“同类最佳”解决方案是在芯片封装内添加尽可能多的 SDRAM，这使我们获得了高带宽内存 (HBM)。

HBM 实现了比 DDR4 或 GDDR5 更高的带宽，同时使用更少的功耗和更小的外形尺寸。这是通过创建 DRAM 裸片堆栈来实现的，这些裸片通常安装在可选基础裸片的顶部，该基础裸片可以包括缓冲电路和测试逻辑。一个或多个 HBM 堆栈可以直接安装在主处理器芯片的顶部，或者 HBM 和处理器都可以安装在硅中介层上。

我必须承认，上次我查看 HBM 时，每个人都对 HBM2E 的可用性感到非常兴奋，所以当 但当我看到以下“HBM 备忘单的演变”时，您可以想象我的惊讶和喜悦。

我想我一定是眨眼了，因为我现在发现我们已经通过了 HBM3，并且正在进入 HBM3E 领域。“天啊，”我只能说。堆叠高度为 16 个dice，数据速率为 9.6 吉比特每秒 (Gbps)。毫无疑问，构建用于 HPC 和 AI 培训的数据中心服务器的人们会对这一点感兴趣。

为什么该图像只有“HBM3”注释而不是“HBM3E”？原因是该图像是在 HBM3E 命名法被正式采用为标准之前创建的（说实话，在撰写本文时它可能仍然只是一个事实上的标准，但这对我来说已经足够好了）。

除了提供市场领先的 9.6Gbps 数据速率外，HBM3 内存控制器 IP 的最新版本还提供 1,229Gbps（即每秒 1.23 太字节 (Tbps)）的总接口带宽内存吞吐量。

我只能说，这会让 HPC 极客和 AI 书呆子尖声尖叫，就像……嗯，那些尖声尖叫的东西。你说什么？您可以在下一个设计中使用这种令人尖叫的带宽吗？

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3603期内容，欢迎关注。