阿里巴巴淘系技术部端智能团队高级技术专家 姜霄棠在Khronos·芯原技术研讨会上介绍了MNN的异构计算解决方案
姜霄棠表示,MNN 是一个深度神经网络推理引擎,在端侧加载深度神经网络模型进行推理预测。目前,MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用,覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外,IoT 等场景下也有若干应用。
MNN分为Converter和Interpreter两部分。
Converter由Frontends和Graph Optimize构成。前者负责支持不同的训练框架,MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN);后者通过算子融合、算子替代、布局调整等方式优化图。
Interpreter由Engine和Backends构成。前者负责模型的加载、计算图的调度;后者包含各计算设备下的内存分配、Op实现。在Engine和Backends中,MNN应用了多种优化方案,包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、Neon优化、手写汇编、多线程优化、内存复用、异构计算等。
对于后续规划,姜霄棠表示在几何计算部分将对Fusion Op分解,成本将更低。MNN部分将对前端和后端硬件提供更多的支持,此外,MNN与编译技术相结合未来会应用模型压缩算法。
关键字:阿里巴巴
引用地址:
阿里巴巴技术专家眼中MNN异构计算解决方案
推荐阅读最新更新时间:2024-11-02 19:40
引发全球新一轮资本狂潮的量子信息到底是什么鬼
由于量子信息技术的专业性和其所处的产业周期,大部分的投资者对于量子通信、量子计算的认知,仍然停留在朦胧阶段。 而很多科技和科技成果转化,是两张皮。原因是前期基础研究的成果出来后,到变成真正有用的成果之前,还有一段技术研发的路子需要走。这一段经常就得不到大家的关注,相当于有一个死亡之谷。
量子信息是什么?
2015年底,这个问题突然在金融,甚至幼儿教育领域热了起来,相关概念在资本市场持续受热捧。
1月8日,国家自然科学奖一等奖,颁给了由中国科学技术大学潘建伟院士领衔的项目——“多光子纠缠及干涉度量”。
另一个政策背景是,中共中央对“十三五”规划建议所部署一批体现国家战略意图的重大科技项目中包括量子通信。
诸如此
[嵌入式]
鸿海携手阿里巴巴 探索机器人产业电商之路
阿里巴巴宣布在台湾成立100亿元的创业基金,3月3日,马云赴台与台湾年轻人对谈,谈梦想与创业;鸿海董事长郭台铭到场力挺,全程于台下聆听演讲;马云透露与鸿海还有不少合作项目将会公布;郭台铭并表示,由鸿海为日本软银代工的Pepper机器人,将不只在日本上市,未来还要透过阿里巴巴平台卖向全世界。 鸿海与阿里巴巴的这次合作似乎为传统制造业的机器人产业发展带来一丝曙光。据分析,国内机器人、智能制造装备的供给和需求存在巨大的缺口,市场潜力十分巨大,如何进行营销变革,从国外同行中分得“一杯羹”,成为摆在机器人生产企业面前的一道必答题。 机器人能否做电商是一个新课题。纵观当下电子商务,销售主要集中在鞋子、衣服、小家电等小型日用品领域
[机器人]
中科大教授彭承志被威胁后续:舆论风口下的九州量子
微博上的一篇实名举报信,将新三板挂牌公司九州量子(837638)推上风口浪尖。9月29日,涉事公司九州量子应声下跌,股价跌幅曾一度达到了50%。记者从相关渠道获悉,举报人彭承志,除了任中科大教授外,还是拟IPO公司科大国盾量子技术股份有限公司董事长。彭承志的这些头衔,无疑增加了这份举报信的含金量。 重申举报内容真实性 9月28日,一篇关于《科学家遇上流氓怎么办?我没什么办法,但我可以说出来》的文章开始在网上流传。公开此文的作者彭承志,微博实名认证为“中国科学技术大学研究员,‘墨子号’科学应用系统总师”。 “公开信”指出,2017年8月至2017年9月期间,浙江九州量子信息技术股份有限公司(简称“九州量子”)董事长郑某伙同他
[嵌入式]
2019年Q3 亚马逊智能音箱出货量扩大了其领先优势
2019 年 Q3 亚马逊 Echo 智能音箱出货量为 1050 万,这是该公司有史以来单季度第二高的出货量,再次扩大了其领先优势。2019 年 Q3 全球智能音箱出货量同比增长 55%,达到 3490 万台,其中中国厂商百度、阿里巴巴和小米的销量均高于平均增长。 由于产品种类陈旧以及缺乏主要的促销活动,谷歌在该季度的出货量放缓。尽管如此,谷歌智能音箱的出货量仍同比增长 16%,并将有望在第四季度通过改进产品线以及计划在黑色星期五前后开展广泛的促销活动取得更好的成果。 Strategy Analytics 总监 David Watkins 表示:“2019 年 Q3 亚马逊表现出色,再次证明自己是智能音箱市场的全球主导力
[嵌入式]
阿里巴巴数字云徽章为奥运会媒体人员实现安全社交
Nordic nRF52840 SoC使能数字云徽章让佩戴者记步、交友并自行定制数字名片 挪威奥斯陆 – 2021年11月1日 –在2020东京奥运会,Nordic Semiconductor 与阿里巴巴集团完成了创新性合作。阿里巴巴把科技创新与奥运文化深入结合,推出自主研发的基于云服务平台与物联网技术的全球首个数字化奥运云徽章,其中选择使用Nordic的nRF52840 蓝牙® 5.2/低功耗蓝牙 (Bluetooth® Low Energy (Bluetooth LE))先进多协议系统级芯片(SoC),为其“阿里巴巴数字云徽章”可穿戴设备提供核心处理能力和无线连接。 交换徽章和钮扣的传统可以追溯到1896年在雅典
[物联网]
国家物流平台联手阿里共建物流服务标准
为推进国内物流行业服务标准建设,11月13日,国家交通运输物流公共信息平台正式宣布联手阿里巴巴物流平台(56.1688.com),双方在杭共同签署合作协议。 此次合作旨在共同推动电子商务物流信息交换标准建设、企业诚信体系建设、物流产业链上下游互联互通物流信息化建设。最终将推出国内物流行业的服务标准、系统对接标准以及服务评价标准。 “国家物流平台通过搭建基础交换网络、建设并推广物流管理软件及公共应用服务中心,在物流企业接入、企业信用等方面具备强大的信息化应用支持和服务能力。”此次参加签约仪式的浙江省道路运输管理局局长赵雁表示,阿里巴巴作为全球最佳的小企业服务商,其物流平台聚集了上百家优秀的物流企业为交易会员提供在线物流服
[网络通信]
阿里巴巴签约重庆 马云:把数字经济做到从有到无
新浪科技讯,重庆市政府与阿里巴巴、蚂蚁金服集团签署战略合作协议,将在重庆设立阿里巴巴区域中心,打造基于“城市大脑”的“智能重庆”。马云表示,将在重庆把数字经济从有做到无,就是无处不在、处处都在。 重庆市委书记陈敏尔、市委副书记、代市长唐良智和阿里巴巴董事局主席马云共同见证了签约仪式。 陈敏尔在会见马云时表示,重庆现在很重要的是发展数字经济,用智能化来支撑开放,来支持生态,在大数据、智能化方面进行创新。 唐良智在签约现场表示,双方重点围绕经济发展、社会治理、民生服务三大领域深化合作,共同打造基于城市数据大脑的智能重庆,与重庆发展战略高度契合,期待阿里巴巴集团区域中心,加快实施工业互联网、城市大脑等合作
[半导体设计/制造]
阿里推出的自动送货机器人,进行了哪些技术创新?
阿里巴巴 日前公布了一项技术创新,希望为未来世界提供更方便的快递运送服务。该公司展示了一款自动驾驶送货机器人,该机器人可以将网购商品送到用户手中,配合一款带面部识别和保温功能的储物箱,可以带来更进一步的体验。 这个机器人名为 G Plus,目前正在阿里巴巴杭州总部进行测试。G Plus 机器人可以携带多种不同尺寸的包裹,并且与前代产品相比,它的运送距离更远。 G Plus 的货运箱可以根据货物的尺寸进行调整,阿里巴巴表示这个机器人还可以配送鲜食。G Plus 内置基于 LIDAR 的导航系统,如果检测到附近有人或汽车,它会把速度降低到每小时 6.2 英里(约每小时 10 公里),留出足够的刹车距离。出于安全方面的考
[嵌入式]