炬芯科技周正宇博士:存内计算是突破AI芯片算力和功耗矛盾的关键

发布者:EEWorld资讯最新更新时间:2023-11-24 来源: EEWorld作者: 付斌关键字:炬芯  AI  存内计算 手机看文章 扫描二维码
随时随地手机看文章

著名作家海伦·凯勒曾说过这样一句话,“盲隔绝了人与物,聋隔绝了人与人。”可见听力的重要性,由此可以看出,人的一生耳朵是最忙的感知系统之一。


声音是人与人交户的重要手段,在AI兴起的现今,也是人与机器相互沟通的手段之一。从模拟阶段的留声机开始到现在,人类对于高清化、高保真的追求一刻没有停歇过,也逐渐摆脱了线束的约束。对音频来说,芯片至关重要,它既要拥有足够的算力,也要拥有足够低的功耗。


据SIG预测,到2027年蓝牙音频传输设备年出货量将达18.4亿台,2023年~2027年的年复合增长率为6%,蓝牙数据传输设备年度出货量将达到18.7亿台,2023年~2027年的复合年增长率为11%。


ICCAD 2023上,炬芯科技股份有限公司董事长兼CEO周正宇博士博士分享了炬芯在AI大背景下,如何为音频芯片提供更多创新。


20多年专注音频领域


“炬芯的前身就是原来的炬力集成,我们在行业中做了20多年音频,2005年炬力集成基于便携式音频在美国上市,2021年炬芯基于蓝牙音频在科创板上市。”周正宇博士这样介绍道。


炬芯2023年半年报和官网显示,其核心产品包括蓝牙音频SoC芯片、端侧AI处理器芯片、便携式音视频SoC芯片三类。


蓝牙音频 SoC 芯片系列主要应用于蓝牙音箱(含TWS音箱、智能蓝牙音箱)、Soundbar、智能手表、蓝牙耳机(含TWS耳机、开放式OWS耳机)、无线电竞耳机等。



端侧AI处理器芯片系列是基于端侧的带有人工智能加速器的 系统级音频处理器,致力于提供智能物联网AIoT端侧低功耗算力的芯片平台,也是炬芯主营的音频产品和人工智能技术的重要结合点,可满足市场未来日新月异的低功耗端侧设备的人工智能应用需求。



便携式音视频SoC芯片系列是炬芯最早耕耘的、最成熟的产品线,全球市场占有率长期较高,搭载了公司长期积累的、较先进的低功耗音视频处理技术。该系列芯片主要针对便携式高品质音视频编解码类产品的应用。



具体从市场来看,炬芯在中高端品牌蓝牙音箱市场份额明显增长,下一步会通过产品持续迭代升级和优化产品组合继续提升在中高端品牌的渗透率;低延迟高音质市场从有线连接向无线连接转换的趋势,带来了存量市场转化和新增需求两个机会,炬芯正在持续加大研发投入保持技术领先优势并与各大品牌厂商继续保持紧密合作以把握这一波市场转型机会;此外,在智能手表市场,炬芯对中国、欧美和印度市场做了均衡的布局和节奏把握,智能手表作为贴合人体重要的健康数据监测产品,将持续深耕。


用存内计算创造更大算力和更低功耗


周正宇博士表示,过去以来,炬芯的芯片架构一般都是“CPU+DSP”的双核架构,未来,AI时代,炬芯会在CPU和DSP的基础上,从高端音频芯片入手,整合低功耗 AI 加速引擎,逐步全面升级为 CPU+DSP+NPU(based MMSCIM)三核异构的AI SoC架构,为便携式产品提供更大的算力。,最新一代基于MMSCIM的高端AI音频芯片ATS286X,将会在明年将会Sample。


“算力和功耗是一对矛盾统一体。”周正宇博士认为,如何在同样的制程、同样的架构、同样的设计下,创造更大算力和更低功耗是AI时代的关键。


比如说,TWS耳机电池容量通常在35m~40mAh,典型平均工作电流约在5mA左右,也就是说,留给芯片的功耗预算只有20mA左右。再比如,智能手表典型电池容量在280~300mAh,典型工作电流在3mA上下,也就是说在4.3V锂电池中,只有15mA左右的功耗,还包括ADC、DAC等器件,也就是说留给蓝牙音频芯片功耗只有10mW。


与之相悖的是,AI驱动下,未来算力需求越来越大,也就是说,对蓝牙音频芯片商来说,要在10mW的功耗预算下,打造200~500GOPS算力是很大难题。


AI主要以复杂矩阵运算来形成,而复杂的矩阵运算最主要的算力功耗都来自于乘累加运算,过去芯片普遍采用DSP处理音频,突破的关键就在于突破冯诺范式的存储墙和功耗墙,即存内计算,通俗解释就是把计算和存储放在一个房间里去,让它们零距离沟通。


存内计算拥有许多不同介质,到底哪一种介质适合做存内计算?周正宇博士认为各个介质均有其特点,不论哪种路径,最主要的问题就是写入次数,假若AI需要做自适应或模型不断更新,那么它在写入多次之后就会报废,所以这种介质不适合做自适应应用,类似于Transformer这一类拥有自学能力的模型。


对比来看,SRAM读写速度快,拥有无限次读写能力,不仅采用标准工艺制造,还可以集成在SoC内,但它的弱点是存储密度低。不过,虽然如此,SRAM依旧是低功耗AI算力的首选。一方面,音频只需要200~500GOPS的算力,而非几十TOPS,密度低的缺陷因此而被规避,另一方面,标准的CMOS工艺不仅可以现在就能大规模量产,还可以集成在单芯片上跟随制程工艺演进到2nm。加之无限次写入,可以支持自适应计算,长远来看,RL(强化学习)和ML(机器学习)可能也会为它带来更多惊喜。


存内计算也拥有模拟和数模混合两个技术路径,它们最大的差异主要在于运算用ADC+模拟电路实现的,还是基于数字电路实现。


炬芯科技选择的是模数混合的存内计算,暂时命名为“Mixed-Mode SRAM based CIM”,简称MMSCIM,其优势是精度无限,可靠性和量产的一致性非常高,容易在制程上升级,容易提升速度或PPA。


目前,该芯片虽然还没有进入量产阶段,但进展非常快。它在全矩阵运算情况下,未来22nm就有望达到每瓦7.8TOPS的能效比。值得一提的是,在12nm情况下,它就已经接近50TOPS,足以挑战在10mW范围内释放200~500GOPS算力。



边缘与AI融合,挑战与机遇并存


在周正宇博士看来,未来端侧也会实现像ChatGPT、Tranformoer或类似的功能,或许是手机,或者是手表,未来这些能力都能被人所触及。就比如说,早年软盘只有1.44MB的存储空间,而现在TWS耳机中的存储空间都超过了几十兆。


端侧是AI非常好的载体,以手表为例,它是唯一一个长时间佩戴且紧贴皮肤的装置,因此,非常方便成为健康监测装置,随着传感器发展,心率、血压信息都成为了可测量的数据。而最终,它会成为一个能够随时监测健康状态的能手。


把几亿人的信息全部送到云端处理显然不现实,而当边缘端拥有AI,把专业的医学知识灌注给它,它就会像一个移动医生一样,随时判断心率、血氧变化是否健康。这就是边缘AI的重要意义,这样的例子在边缘AI中不胜枚举。



当然,挑战与机遇并存。对国产来说,在端侧做AI挑战有两方面,一方面如何以更好的能效比、PPA来实现人工智能,另一方面则是在于芯片制造,如何利用主流制程做到先进制程的产品性能,这是国产芯片设计公司必须面对的挑战。


自从ChatGPT问世,最大的变化是自学习和自适应,而在其中隐私是很大问题,未来端侧也必然也要面对这样的挑战。


”我认为现在AI最缺乏的是生态。”事实上,芯片行业大多情况都会把重点放在硬件设计,但实际上,一个行业必须拥有自己的生态,国内更需要自己的生态。就比如说,TensorFlow与算力之前其实中间还间隔了很多层,或者说工具,如果能做好这一层,就能建设好更好的国产生态。炬芯也会持续深耕,为国产芯片与生态建设添砖加瓦。

关键字:炬芯  AI  存内计算 引用地址:炬芯科技周正宇博士:存内计算是突破AI芯片算力和功耗矛盾的关键

上一篇:Bose发布全新QuietComfort消噪耳机Ultra与QuietComfort消噪耳塞Ultra
下一篇:汇顶科技两款芯片助力OPPO Find X7封神,实现移动安全与音频新体验

推荐阅读最新更新时间:2024-02-08 07:57

中国制造AI工厂何时实现?
  在科技领域以外,AI技术则仍大多数是实验性质,只有少数例外──特别是汽车领域──很少有工厂已经开始采用,已经实施的AI技术都是小范围应用,主要在例如库存管理、检验等领域。下面就随 工业控制 小编一起来了解一下相关内容吧。   市场研究机构Lux Research研究员Dayton Horvath表示:“AI能支持像是有限元素分析(finite element analysis,FEA)等应用于建立仿真模型的运作,此外也能处理更困难的问题──例如有更大自由度或是不完整数据集的情况;”举例来说,拓朴优化(topology optimization)能借助AI打造更轻量化,但拥有相同或更高强度的零件,并能建立更具效率的热交换器模型
[嵌入式]
为防止性侵事件发生 Uber考虑使用AI技术来判断乘客是否醉酒
近日,美国专利商标局(USPTO)公布了优步(Uber)的一项专利申请,表明这家网约车巨头正在探索用人工智能来识别醉酒乘客的可行性。其描述了一套可以根据用户日常使用 Uber app 习惯的 AI 系统,以辨别异常状况的发生。具体算法涉及多个方面的因素,包括错别字、点击链接和按钮的精确程度、行走速度、以及招车等待所需的时间。 除此之外,这套 AI 系统还会将用户约车的地点和一天中所处的时间等因素考虑在内。 举个例子,当某个人于周六凌晨 1 点时沿着夜生活区的街道行走,但在打字时却显得很笨拙,即可判断其思维不太清醒。 该专利还表示,Uber 向用户提供的服务,可能会因此而发生改变,司机可能会被告知其乘客的状态。 处于不
[汽车电子]
人工智能机器人参与联合会诊
24日,中山大学附属第六医院宣布启动沃森(Waston for Oncology)胃肠疾病人工智能医学中心,将对接人工智能与临床诊疗,通过机器学习与算法,实现个体化胃肠道肿瘤治疗方案的推荐。 “每周定期的联合会诊中,沃森(人工机器人名字)将有一席之位,通过读取病人数据给出一个以上的治疗方案,为医生的治疗提供参考。”中山大学附属第六医院相关负责人介绍。 据介绍,由IBM公司制作命名的沃森智能辅助诊疗系统是基于人工智能的一套癌症辅助诊疗系统,通过计算机训练学习与算法,实现癌症治疗的推荐。沃森所积累的信息量以及处理速度是个体医生难以匹敌的,然而,沃森不回答医学问题,而是基于数据基础之上给出最相关且最可能的多个结果,最终由医生做出临床决策
[机器人]
NVIDIA 发布适用于医疗设备和计算传感系统的 AI 计算平台
Clara Holoscan MGX 医疗级平台配备 NVIDIA Orin 系统和 NVIDIA AI 软件栈,为嵌入式计算领域的领先企业所构建的系统赋能 加利福尼亚州圣克拉拉市 —— GTC 大会 —— 太平洋时间 2022 年 3 月 22 日 —— NVIDIA 今日发布 Clara Holoscan MGX™,这是一个可供医疗设备行业在边缘开发和部署实时 AI 应用的平台,专为满足必要的监管标准而设计。 Clara Holoscan MGX 能够扩展 Clara Holoscan 平台 ,提供一体化的医疗级参考架构以及长期软件支持,以加速医疗设备行业的创新。它通过 处理高吞吐量数据流 来提供实时洞见,将最
[医疗电子]
NVIDIA 发布适用于医疗设备和<font color='red'>计算</font>传感系统的 <font color='red'>AI</font> <font color='red'>计算</font>平台
对大脑进行的逆向工程,是否能让AI成长?
大脑,可以说是人类身上最奇妙的器官。但有趣的是,关于大脑研究的热度,似乎并不是跟着医学发展曲线前进,而是跟着智能科技的发展前行的。 或许因为人工智能本身就是为了模拟人类智慧出现,于是几乎在人工智能发展的每个周期之中,往往是当我们受算力或应用环境一类基础所限,AI技术无法产生效率上的突破时,便会转向对人脑的研究,试图用计算机来模拟大脑的运转方式。 现如今,虽然深度神经网络应用越来越广泛,我们却也能越来越多地发现人脑运作的特殊性。 例如同样是辨识动物,深度神经网络需要在黑箱中投入大量长颈鹿的图片,才能让AI辨识出“长颈鹿本鹿”。但对于人类儿童来说,通常见过一次长颈鹿图片,就能识别出长颈鹿的骨架。 这一神秘的认知过程,值
[嵌入式]
对大脑进行的逆向工程,是否能让<font color='red'>AI</font>成长?
后起猛追 南沙人工智能产业一年驶上快车道
        “很多年前第一次听南沙还很陌生,如今南沙已经成为了人工智能产业的后起之秀。”10月19日,爱巽科技(广州)有限公司负责人王去非如是评价。在归国10年后,他也将自己的无人驾驶孵化项目设在了广州南沙。   事实上,南沙近年来先后被亚信、微软等世界500强相中,成为全国人工智能领域的沃土。南沙目前已经搭建了广州南沙国际人工智能产业研究院、广州智能软件产业研究院、科大讯飞华南人工智能研究院、云从人工智能视觉图像创新中心等人工智能产业研发平台;集聚了云从科技、小马智行、异构智能等40余家掌握自主核心技术的人工智能企业。   肇始于2017年的南沙人工智能产业,缘何从一个边缘地带在短短一年的时间内就踏上发展快车道?
[手机便携]
小米正为MIUI 12中相机开发AI快门功能
据外媒 XDA-Developers 报道,随着 MIUI 12 的到来,小米相机中增加了诸多新特性和新功能,而昨日 XDA 开发人员发现小米正在为其开发更多的功能,其中之一即为 AI 快门(AI Shutter)。AI Shutter 是一种类似于谷歌相机中的 Top Shot 功能的新特性,其支持用户长按快门键连续拍摄多张素材以帮助用户在这一系列的照片中挑选出最满意的一张作为最终结果。 大家在生活中偶尔会遇到某些拍照纪念的瞬间却突发 “变故 “的情况,例如按下快门的一瞬间恰好有人闭眼或者打喷嚏,亦或者取景框内刚好进入了一位不速之客等。这种情况对大部用户来说都是很难接受的,但重新拍摄的话可能早就没了兴致,故该功能
[手机便携]
迄今运行AI最快芯片“北极”面世,速度和能效比同类产品提高20多倍
“北极”印刷电路。图片来源:IBM公司 美国IBM公司最新推出了一款类脑芯片“北极”,其运行由人工智能驱动的图像识别算法的速度是同类商业芯片的22倍,能效是同类芯片的25倍。相关研究论文发表于10月19日出版的《科学》杂志。 “北极”芯片将其计算模块与存储信息的模块交织在一起,允许每个计算核心像访问相邻的存储块一样轻松地访问远程存储块,大大加快了计算单元和存储单元之间信息交换的速度。这一设计思路受到了人脑工作方式的启发。IBM之前曾基于这一想法制造出名为“真北”的芯片,但“北极”将这项技术转变为一种与当代计算机中使用的硅片技术兼容的数字架构。研究团队负责人、IBM研究实验室的达尔门德拉·莫德哈表示,这是一种看待计算机体系结
[半导体设计/制造]
迄今运行<font color='red'>AI</font>最快芯片“北极”面世,速度和能效比同类产品提高20多倍
小广播
添点儿料...
无论热点新闻、行业分析、技术干货……
最新手机便携文章
换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved