Kinara推出Ara-2边缘AI 处理器,适用于服务器和笔记本

发布者:EEWorld资讯最新更新时间:2023-12-13 来源: EEWORLD关键字:边缘AI 手机看文章 扫描二维码
随时随地手机看文章

Kinara推出Ara-2边缘AI 处理器,为边缘服务器和笔记本电脑提供高性能、经济高效且节能的推理,以运行视频分析、大型语言模型 (LLM) 和其他生成 AI 模型等应用程序。


Ara-2 还非常适合运行传统 AI 模型和具有基于 Transformer 架构的最先进 AI 模型的边缘应用程序。Ara-2 Edge AI 处理器具有体验式增强功能集,性能是第一代 Ara-1 处理器的5-8 倍以上,将实时响应能力与高吞吐量相结合,将其经过验证的延迟优化设计与完美平衡的性能相结合。片上存储器和高片外带宽能够以极低的延迟执行大型模型。


生成式人工智能总体上已经变得非常流行,但大多数相关应用程序都在数据中心的 GPU 上运行,面临着高延迟、高成本和隐私问题。为了克服这些限制并将计算能力真正交到用户手中,Ara-2 通过支持这些生成式 AI 模型使用的数十亿个参数,简化了向边缘的过渡。此外,为了无缝地促进从昂贵的 GPU 迁移到各种 AI 模型,Ara-2 中的计算引擎和相关的软件开发套件 (SDK) 专门设计用于支持高精度量化、动态调节的主机运行时,并直接支持 FP32。


“随着 Ara-2 添加到我们的处理器系列中,我们可以更好地为客户提供性能和成本选项,以满足他们的要求。例如,Ara-1 是智能相机以及具有 2-8 个视频流的边缘 AI 设备的适合方案,而 Ara-2 非常适合处理输入边缘服务器以及笔记本电脑的 16-32+ 视频流,另外还包括高端相机。”Kinara 首席执行官 Ravi Annavajjhala 说道。“Ara-2 通过使用其先进的计算引擎更快地处理更高分辨率的图像,并且精度显着提高,从而实现更好的对象检测、识别和跟踪。作为处理生成式 AI 模型的能力的一个例子,Ara-2 执行Stable Diffution速度可以达到10 秒生成一张图片,LLaMA-7B 的速度可以达到每秒数十个token。”


10 月,Ampere 欢迎 Kinara 加入人工智能平台联盟,其主要目标是降低系统复杂性,促进人工智能更好的协作和开放性,最终提供比 GPU 更好的总体性能以及更高的功耗和成本效率。Ampere 的首席布道师 Sean Varley 表示:“Kinara 的 Ara-2 的性能和功能集是朝着正确方向迈出的一步,有助于我们为行业带来比基于 GPU 的现状更好的人工智能替代方案。”


Ara-2 Edge AI 处理器还提供安全启动、加密内存访问和安全主机接口,使企业 AI 部署具有更高的安全性。Kinara 还通过全面的 SDK 支持 Ara-2,其中包括模型编译器和计算单元调度程序、灵活的量化选项(包括集成的 Kinara 量化器)以及对预量化 PyTorch 和 TFLite 模型的支持、多芯片负载均衡器系统和动态调节的主机。

Ara-2 可用作独立设备、USB 模块、M.2 模块和具有多个 Ara-2 的 PCIe 卡等多种形式。Kinara 将在 CES 上展示 Ara-2 的现场演示。


关键字:边缘AI 引用地址:Kinara推出Ara-2边缘AI 处理器,适用于服务器和笔记本

上一篇:MIKROE推出世界上最大的嵌入式项目平台EmbeddedWiki
下一篇:贸泽和Analog Devices联手发布新电子书

推荐阅读最新更新时间:2024-11-05 13:36

加速多接入边缘计算开发,5G+AI 边缘计算联合实验室成立
今日,百度与英特尔宣布成立5G+AI边缘计算联合实验室,加速多接入边缘计算(MEC)技术在中国的开发。双方将充分发挥在技术和应用开发领域的优势,共同致力于人工智能、车联网、5G、边缘计算、搜索、在线翻译、VR/AR、物联网等方面的技术、产品和商业模式的探索与创新。 百度与英特尔成立5G+AI 边缘计算联合实验室,加速多接入边缘计算(MEC)在中国的开发 此前,百度与英特尔已经在数据中心、云计算应用、基于CPU的AI机器/深度学习框架优化,以及自动驾驶等技术开发方面有着非常密切的合作。2018年7月4日,百度与英特尔在2018百度AI开发者大会上宣布展开人工智能领域的一系列合作。随后的9月,双方在上海举行的百度云智峰会
[物联网]
加速多接入<font color='red'>边缘</font>计算开发,5G+<font color='red'>AI</font> <font color='red'>边缘</font>计算联合实验室成立
模拟内存计算如何解决边缘AI推理的功耗挑战
翻译自——embedded 机器学习和深度学习已经成为我们生活中不可或缺的一部分。通过自然语言处理(NLP)、图像分类和对象检测的人工智能(AI)应用已经深入到我们许多设备中。大多数人工智能应用程序都是通过基于云的引擎提供服务,这些引擎可以很好地为它们的用途提供基础支持,比如在Gmail中输入电子邮件回复时获得单词预测。 尽管我们很享受这些人工智能应用所带来的好处,但这种方法也带来了隐私、功耗、延迟和成本方面的挑战。如果在数据起源处有一个本地处理引擎能够执行部分或全部计算(推理),则可以解决这些挑战。这在传统的数字神经网络实现中是很难做到的,在这种情况下,内存成为了耗电的瓶颈。这个问题可以通过多层内存和使用模拟内存计算方法
[物联网]
模拟内存计算如何解决<font color='red'>边缘</font><font color='red'>AI</font>推理的功耗挑战
英飞凌推出全新边缘AI评估套件, 利用微控制器、连接、AI和传感器产品组合加速ML开发
英飞凌推出全新边缘AI评估套件, 利用微控制器、连接、AI和传感器产品组合加速ML应用开发 【2024年8月30日,德国慕尼黑讯】 全球功率系统和物联网领域的半导体领导者英飞凌科技股份公司 近日宣布推出一款综合评估套件,适用于嵌入式边缘人工智能(Edge-AI)和机器学习(ML)系统设计。 全新PSoC™ 6 AI 评估套件提供了构建智能消费、智能家居和物联网应用所需的全部工具。该解决方案能够在传感器数据源旁执行推理,与以云计算为中心的解决方案架构相比,它能够为用户带来更佳的实时性能和能效等优势。PSoC™ 6外形小巧,尺寸为35 mm x 45 mm,成本更低且集成了多种传感器和连接功能,非常适合本地数据采集、快速原型开
[嵌入式]
英飞凌推出全新<font color='red'>边缘</font><font color='red'>AI</font>评估套件, 利用微控制器、连接、<font color='red'>AI</font>和传感器产品组合加速ML开发
WAIC 2023:英特尔以技术之力推动边缘人工智能发展,打造数字化未来“芯”时代
2023年7月6日,上海——今日, 以“智联世界 生成未来”为主题的2023世界人工智能大会(WAIC 2023)拉开帷幕,英特尔公司高级首席AI工程师、网络与边缘事业部中国区首席技术官张宇博士在大会期间发表了“面向边缘计算的人工智能产品创新”的主题演讲。 张宇博士详细介绍了英特尔面向边缘计算领域的人工智能(AI)产品创新,并讲述了英特尔如何通过先进的软硬件产品组合和解决方案助力行业和企业加速人工智能的开发和落地应用,以进一步推动人工智能蓬勃发展。 英特尔公司高级首席AI工程师、网络与边缘事业部中国区首席技术官张宇博士发表演讲 英特尔公司高级首席AI工程师、网络与边缘事业部中国区首席技术官张宇博士表示:“英特尔一直致力于
[网络通信]
WAIC 2023:英特尔以技术之力推动<font color='red'>边缘</font><font color='red'>人工智能</font>发展,打造数字化未来“芯”时代
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
更多往期活动

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved