Habana Gaudi®加速器让AWS变得更聪明

在近日举行的AWS re:Invent 2020（亚马逊 re:Invent 2020）大会上，AWS首席执行官Andy Jassy宣布了采用最多8个Habana® Gaudi®加速器的EC2实例。对于机器学习工作负载，这些全新EC2实例的性价比相较目前基于GPU的EC2实例提升高达40%1。Gaudi加速器专为训练深度学习模型而设计，适用于自然语言处理、对象检测和机器学习训练、分类、推荐以及个性化等工作负载。

“我们为AWS选择Habana Gaudi处理器用于其即将推出的EC2训练实例感到自豪。Habana团队期待继续与AWS展开合作，为客户持续提供确保连续性及先进性的产品路线图。”

– David Dahan，英特尔公司旗下Habana Labs首席执行官

重要性：作为全球领先的云服务提供商，AWS被全球各地的开发者用于训练其人工智能模型。然而，机器学习模型复杂程度的增加推升了训练所需的时间和成本，特别是在越来越多的数据可用、且开发者寻求改进其模型的情况下。基于Gaudi的EC2实例旨在通过交付高成本效益及高性能，并同时原生支持TensorFlow和PyTorch等通用框架，来满足这些需求。借助Habana的SynapseAI软件套件，开发者将能够轻松地构建新的训练模型或将现有训练模型从GPU移植到Gaudi加速器。

英特尔的人工智能和XPU愿景：英特尔在2019年收购了Habana，并借此推进其人工智能战略，加强其面向云和数据中心的人工智能加速器产品组合。这包含一系列支持商业、社会及科研领域最具前景的人工智能应用场景的产品和技术。这也体现了公司面向提供全面的跨CPU、GPU、FPGA等的XPU架构并以此帮助客户和整个生态系统释放数据潜能的转型。

英特尔数据平台事业部首席战略官Remi El-Ouazzane表示：“我们的产品组合反应了人工智能并非是能用一种解决方案来满足所有场景的计算挑战。云服务提供商目前已广泛采用了内置人工智能性能的英特尔®至强®处理器来应对人工智能推理工作负载。通过Habana，我们现在得以帮助他们降低人工智能模型的大规模训练成本，在高增长的市场机遇中提供极富竞争力的替代选择。”

Habana Gaudi处理器为亚马逊 EC2客户带来低成本的人工智能训练体验

此外，随着公司计划引入以Gaudi为特色的新EC2实例进行深度学习训练，AWS将进一步降低AI数据集的训练成本，并降低希望利用AI提供业务分析、改善效率和增强用户体验的客户的运营总成本。

8卡的Gaudi 解决方案可以在TensorFlow上每秒处理12000张图像训练ResNet-50模型。每个Gaudi处理器集成了32GB的HBM2内存，并集成了用于服务器内部处理器互联的RoCE功能。凭借AWS弹性架构适配器（EFA）的技术可以跨服务器扩展，从而允许AWS及其客户无缝地扩展使用多个基于Gaudi的系统以实现高效和可扩展的分布式训练。

Habana的SynapseAI软件套件专为在Habana Gaudi处理器上提供高性能的深度学习训练，SynapseAI与TensorFlow和Pythorch等流行的深度学习框架集成，对Gaudi进行了优化。开发人员将可以获取开放的Gaudi软件、参考模型和文档。参考模型将在Habana的GitHub知识库中公开发布，并将包括各种流行的模型，如图像分类、对象检测、自然语言处理和推荐系统。SynapseAI软件套件包括Habana的图形编译器和实时Tensor Processor Core (TPC)内核库、固件和驱动程序，以及用于定制内核开发的TPC SDK和SynapseAI Profiler等开发工具。

Habana将在目前Gaudi效能基础上，推出下一代TSMC 7nm 的Gaudi2®，让AI训练应用和服务广大客户、数据科学家和研究人员。