Socionext 和日本东北大学显著加快基于深度学习的 SLAM 处理

最新更新时间:2021-11-23来源: EEWORLD关键字:Socionext  边缘设备  图像识别 手机看文章 扫描二维码
随时随地手机看文章

新方法支持边缘设备的高级图像识别处理


Socionext Inc. Takayuki Okatani 教授领导的日本东北大学研究小组合作,开发了一种新方法,可以减少 SLAM(同步定位和映射)所需的处理时间,这对于执行自主控制的设备至关重要,时间仅为传统技术所需时间的 1/60。这种新方法使得在一些CPU 性能有限以及功耗有限的边缘设备的 SoC进行高级 SLAM 处理成为可能,例如自动驾驶汽车、AGV(自动导引车)、机器人、无人机和其他执行自主的设备控制,以及诸如 AR(增强现实)眼镜之类的设备。


该研究工作已被 ICCV(计算机视觉领域最负盛名的会议之一)接受为演讲报告。这种新方法在 10 月 11 日至 17 日在线举行的ICCV 2021会议上进行了介绍。


根据用于获取物体周围 3D 信息的传感方法,SLAM 可以分为两种主要类型。 一种是 LiDAR(光探测和测距),它使用激光测量距离。另一种是Visual SLAM,它使用相机图像。视觉 SLAM 正在显着发展,因为所使用的相机相对便宜,并且除了同时定位之外,还可以将该方法与使用图像识别的各种控制过程相结合,从而可以期待许多应用。


近年来,随着深度学习的引入,图像识别技术取得了显著的进步,深度学习的应用成为了视觉SLAM演进的重要因素。 然而,基于特征点和相机方向优化地标的未知 3D 信息的束调整(BA)所需的大量计算是传统方法的瓶颈。对于 CPU 处理能力有限的边缘型 SoC 设备,这会使实际处理变得困难。 (图1)


image.png

(图1)


为了应对这一挑战,研究团队提出了一种使用“图网络(GN)"[1](一种图神经网络)通过推理进行近似计算的方法。 新方法包括从 GN block输入的关键帧和地标信息中推断更新信息(图 2),并通过多堆栈 GN 结构收敛到最终值(图 3)。 与使用传统 Levenberg-Marquardt 方法的标准束平差相比,这些使得推理处理所需的计算量更少。

image.png

(图2)

image.png

(图3)


研究团队使用这种新的推理方法实现了 Visual SLAM 捆绑调整,并将其与当今广泛使用的方法“g2o”[2]进行了比较。 PC 仿真结果证实,与g2o 相比,新方法可以将处理时间缩短至 1/60。(图 4)


 image.png

(图4)


Socionext将从这项研究工作中积累经验,并将 Visual SLAM 技术确立为公司定制 SoC 解决方案的产品之一。该公司将为工业设备和移动等需要图像识别领域的客户系统提出创新的性能改进方案。 此外,公司将继续研发通过新的推理方法提高处理效率,并将其使用扩展到图像识别以外的新客户应用。


作者: 


Tetsuya Tanaka, Yukihiro Sasagawa from Socionext, and Takayuki Okatani from Tohoku University


主题:


Learning to Bundle-adjust: A Graph Network Approach to Faster Optimization of Bundle Adjustment for Vehicular SLAM


注释:


[1] “关系归纳偏差、深度学习和图网络”


[2]“G2o: 图形优化的通用框架”


关键字:Socionext  边缘设备  图像识别 编辑:张工 引用地址:http://news.eeworld.com.cn/MEMS/ic555388.html

上一篇:安森美的智能成像方案使道路更安全
下一篇:全球3D芯片及模组引领者,强势登陆中国市场

推荐阅读

Socionext为下一代云标签开发LSI加速物流数字化转型
索喜科技Socionext, Techsor 和ZiFiSense 推出”ZETag®”芯片,新芯片支持下一代“Advanced M-FSK”调制方式,在LPWA通信中实现行业领先性能,是专为利用 ZETA 通信的新型云标签而开发的。据悉,索喜科技(Socionext Inc.)、ZiFiSense 和 Techsor 10 月 22 日宣布,三家公司联合开发了一款新芯片“SC1330”,专为 ZETag 设计。ZETag 是使用 ZETA 通信协议的下一代云标签。SC1330在单个芯片上集成了兼容下一代 ZETA 标准“Advanced M-FSK”调制方法的模拟信号处理单元、包括RISC-V CPU和各种接口在内的数字电路
发表于 2021-11-11
<font color='red'>Socionext</font>为下一代云标签开发LSI加速物流数字化转型
Socionext 和合作伙伴发表半导体软误差之间的差异
Socionext 和合作伙伴发表由宇宙射线介子和中子引起的半导体软误差之间的差异,建立环境辐射评价与对策的技术Socionext Inc.与高能加速器研究组织材料结构科学研究所、京都大学综合辐射与核科学研究所、大阪大学信息科学与技术研究生院经共同研究,首次成功证明介子和中子引起的半导体器件的软误差具有不同的特性。该研究小组对日本质子加速器研究中心 (J-PARC)材料和生命科学设施 (MLF) 的μ 子科学设施 (MUSE)、京都大学研究中心(KUR)的热中子束和大阪大学核物理研究中心 (RCNP) 的高能中子束进行了负μ子束和正μ子束照射半导体器件的实验反应堆。课题组通过使用多种类型的量子束,实现了对宇宙射线μ子和中子对环境
发表于 2021-09-07
<font color='red'>Socionext</font> 和合作伙伴发表半导体软误差之间的差异
Socionext 在DesignCon 2021展示领先的SoC设计解决方案
采用高速 5G 网络 SerDes、单芯片 ADC/DAC、先进封装技术、下一代主机接口,计算机视觉 AI全球领先的 ASIC 供应商 Socionext Inc. 于 8 月 17 日至 18 日在圣何塞会议中心举行的年度DesignCon展示其先进的SoC设计。Socionext America Inc.的全套演示将包括112G SerDes,30-120GS/s ADC/DAC,PCIe Gen5,高性能内存和多芯片封装设计解决方案。高速 5G 网络 SerDes/ADC/DAC每条通道高达 112Gbps 的高性能 SerDesIP,用于高性能计算、存储和 400G 网络。超高速Direct RF ADC 和 DAC
发表于 2021-08-26
<font color='red'>Socionext</font> 在DesignCon 2021展示领先的SoC设计解决方案
Socionext 选用Flex Logix嵌入式eFPGA用于5G无线基站平台
近日,Flex Logix Technologies, Inc. Flex Logix宣布与Socionext签署协议,Socionext获得其EFLX 4K eFPGA授权许可,并应用于5G平台7nm ASIC 项目开发 。通过利用eFPGA,Socionext可为客户提供可编程ASIC,即在流片后也能进行再配置,满足新要求并根据需求改变标准和协议。通过集成 FPGA,Socionext 可以通过消除基站中的一单颗芯片来提高性能并降低功耗。这为运营商提供了个性化优势,他们不再需要与 ASIC 供应商共享专有软件才能集成到 FPGA 中。Socionext 数据中心和网络业务部副总裁 Yutaka Hayashi 表示:“无线
发表于 2021-06-29
Socionext,ZiFiSense和Techsor合作开发下一代ZETA
Socionext是基于SoC的解决方案的供应商,其与ZiFiSense和Techsor合作,开发了包含“高级M-FSK调制”方法的下一代ZETA通信标准。ZiFiSense是LPWA标准ZETA的创始者,而Techsor是ZETA联盟在日本的代表公司。这三家公司已最终确定了新标准的规范,并将针对实际用途及其商业化进行演示测试。Socionext计划在2022年3月之前设计出与新标准兼容的通信SoC原型,并计划于2022年底开始批量生产。LPWA(低功耗广域网)是适用于物联网应用的无线通信技术标准。 ZETA具有双向通信和通过中继的通信跳频功能,与其他LPWA标准相比,在建筑物以及难以无线电波难以到达的农业和渔区中使用,具有明显
发表于 2021-04-08
日本东北大学确认量产碳纳米管轴承的旋转动作
日本东北大学研究生院理学研究科教授矶部宽之的研究小组于2013年1月9日宣布,成功确认了在有限长度碳纳米管(CNT)中填充经化学修饰的富勒烯而制造出来的轴承的旋转动作。通过光谱分析确认了富勒烯制成的转子在CNT外框中像陀螺一样转动的情况。研究小组表示,此次并非是让一个轴承,而是让量产的1023个庞大数量的轴承以同等程度的转速旋转,而且还可通过温度来控制其转速。   图1:碳纳米管轴承的静止图。外侧红色部分为有限长碳纳米管,中央灰色部分为经过化学修饰的富勒烯。(点击放大)   图2:从上看轴承的连续图。纳米级陀螺(转子)在外框中转动。(点击放大)       CNT是由石墨烯片卷成的直径数nm的管状构造,不能作为拥有
发表于 2013-01-11
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 光学传感器 麦克风 压力传感器 加速计/陀螺仪 消费电子 汽车电子 通信电子 综合资讯 温度传感器 其他技术

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved