据外媒报道,密歇根大学(University of Michigan)开发了新的实时3D运动追踪系统,可取代激光雷达和自动驾驶应用中的摄像头等成像系统技术。
(图片来源:University of Michigan)
该项技术将透明光探测器与高级神经网络相结合,有望用于自动化制造、生物医学成像和自动驾驶领域。密歇根大学电子与计算机工程副教授Zhaohui Zhong及其团队开发了透明、纳米级、高灵敏度的石墨烯光电探测器,该成像系统利用了这一探测器的优势。
电子与计算机工程专业博士生Dehui Zhang表示,“石墨烯纳米设备和机器学习算法的深入结合,可以在科技领域带来机遇。与其他几种解决方案相比,我们的系统具有计算效率高、追踪速度快、硬件紧凑和成本更低的优势。”
石墨烯光电探测器经过调节,可吸收约10%的光。由于石墨烯对光非常敏感,足以产生可通过计算成像重建的图像。这些光电探测器堆叠在一起,构成紧凑的系统,每一层都会聚焦于不同的焦平面,从而实现3D成像。
除了3D成像,该团队还处理实时运动追踪。为此,他们需要一种方法来确定被追踪物体的位置和方向。研究人员表示,典型的方法包括激光雷达系统和光场摄像头,但这两者都有明显的局限性。
根据密歇根大学表示,有人使用超材料或多个摄像头,但如果不引入深度学习算法,仅靠硬件无法达到预期效果。电气和计算机工程专业博士生Zhen Xu创建了光学装置,并与团队合作,使神经网络能够解读位置信息。
神经网络进过训练,会在整个场景中搜索特定物体,然后只专注于感兴趣的物体。项目负责人、电子与计算机工程教授Ted Norris表示,“虽然训练神经网络需要时间,但是一旦训练完成,当摄像头看到某个场景时,可在几毫秒内给出答案。”
该团队成功追踪了一束光,并使用两个4×4像素石墨烯光电探测器阵列堆栈追踪瓢虫。此外,研究人员还证明该项技术是可扩展的。他们认为,对于一些实际应用,只需4000个像素,而对于更多的应用,只需400×600像素阵列。虽然成像系统技术可与其他材料一起使用,但石墨烯的一个优点是无需人工照明,而且对环境友好。
关键字:激光雷达 自动驾驶 摄像头
引用地址:
密歇根大学开发实时3D运动追踪系统 可取代激光雷达和自动驾驶摄像头
推荐阅读最新更新时间:2024-11-08 12:53
一文看懂谷歌自动驾驶的起因与发展
最近,一则关于美国高速公路安全局宣布就一辆 特斯拉 发生的事故展开调查引起业内对于 自动驾驶 技术的热烈讨论,随后宝马集团就携手英特尔与Mobileye,宣布三者将在2021年推出全自动驾驶汽车,进而又传出苹果、沃尔沃、奔驰等公司将于2021年推出全自动驾驶汽车的消息,一时间整个自动驾驶圈内好不热闹。
在一众从事自动驾驶研究的科技公司与汽车巨头中,最引人关注的就要数 谷歌 了,一方面是因为谷歌是一家非常令人尊敬的互联网公司,另一方面则是因为谷歌在自动驾驶领域已经处于某种程度的领先地位了——在其他公司都还在进行小范围内部测试的时候,几十台挂着Gooole Logo的自动驾驶汽车已经在美国的街道上大摇大摆地跑了好几年了。今天,就
[嵌入式]
谷歌使用AI追踪2D视频中的物体 或可用于自动驾驶汽车物体识别
据外媒报道,近日,谷歌发布了名为Objectron的管道,可以在2D图像中发现物体,并通过AI模型估算其姿态和大小。该公司表示,Objectron对机器人、自动驾驶汽车、图像检索和增强现实技术影响深远,例如,可以帮助工厂车间的机器人实时避开障碍物。 (图片来源:ai.googleblog.com) 追踪3D物体是一项复杂的工作,特别是当计算资源有限时。当仅有的可用图像为2D时,由于缺乏数据以及物体外观和形状多种多样,这会变得更加困难。 为此,Objectron研发团队开发了一种工具,可以使注释器通过分屏视角显示2D视频帧,来标记物体的3D边界框(即矩形边框)。这些3D边界框将叠加在点云数据、摄像头位置和识别到的平面上
[汽车电子]
百度说要开发自动驾驶,于是找来了NVIDIA
中国大型检索服务提供商 百度 在近日于北京举办的该公司年会“Baidu World”上宣布,将与美国英伟达公司合作开发基于AI(人工智能)的 自动驾驶 汽车用平台。双方将面向全球的汽车厂商提供该平台。
开发的平台将结合百度的云系统和地图制作技术以及英伟达的驾驶控制软件。双方将开发自动驾驶所需高精度地图、“3级”自动驾驶功能及自动驻车功能等。
英伟达CEO(首席执行官)黄仁勋说,“完全自动驾驶汽车的开发涉及到从车载超级计算机到AI算法乃至云服务器上3D(三维)地图的更新等所有端到端的课题”。由此强调了不仅是车辆,还包含信息基础设施在内的系统开发非常重要。
百度正在加速开展自动驾驶技术的开发,该公司于20
[嵌入式]
信任危机如何破解?自动驾驶商业化需过“民意”关
如今,汽车产业正迎来加速变革,向着新能源与自动驾驶两大技术方向迈步挺进。相对于新能源技术的相对成熟,自动驾驶仍处于发展阶段,距离规模化普及也仍有很长一段路要走。不过,业内玩家对于自动驾驶汽车的热情却依然十分高昂。 据最新报告预测,2018年全球自动驾驶汽车市场规模将达到49亿美元,到2022年,预计市场规模将进一步增长至85亿美元。更为乐观的数据是,根据罗兰贝格预测,到2030年,仅自动驾驶出租车的全球收入就将高达1.5万亿欧元。在广阔的市场前景吸引下,无路是企业巨头也好、资本巨鳄也好,都力图占据发展先机,分得最大一块“蛋糕”。 自动驾驶汽车商业化启幕 随着时代的进步,科技在推动经济、社会发展中的作用愈发凸显。现在,科技发展日
[机器人]
Model 3软件更新:方向盘上按钮可控制自动驾驶
特斯拉Model 3车主的一大抱怨是,汽车的所有功能都是通过调整Dash大触摸屏控制的。这样带来的问题是,为了调整车上的设置,司机不得不一边开车一边操作。在这段时间里,分心驾驶对任何人来说都是危险的。特斯拉现在已经发布了Model 3的软件更新,改变了汽车方向盘上的滚动按钮,新的按钮可以让司机调整交通感知的巡航控制设置。向上或向下推动滚动按钮将增加或减少设定的巡航速度。 为了调整Model 3和前面的车辆之间的跟踪距离,司机可以通过右滚动按钮的左右滑动。当然,这两个设置仍然可以从触摸屏控制。 左边的滚动按钮可以让司机调整侧镜和方向盘。司机可以点击后视镜调整图标,选择左或右侧的后视镜,并上下滚动控制键来调整。 方向盘调整的方式
[嵌入式]
博世加速转身:已建两座芯片工厂,软件工程师人数达3万
在中国,博世是致力于将自动驾驶技术尽早实现商业化的先驱者。不同于蔚来和特斯拉的车企身份,博世是以Tier1的身份投身于辅助驾驶系统的研发和推广工作中,品牌和车型的覆盖面更加广泛。 仅2019年,博世就为近40个本土车型提供L2级别的高级驾驶员辅助系统解决方案。从这个角度来讲,博世在自动驾驶技术迈向商用化的进程中,贡献更大。这得益于博世全球CEO在五年前第一位在业界提出“汽车未来发展方是自动化、互联化、电气化”的战略。 搭载博世辅助驾驶系统的车型 如今来看,博世的战略眼光相当具有前瞻性。最近,博世又在原有“自动化、互联化、电气化”的基础上增加了“个性化”未来发展方向,系统地形成了“电气化、互联化、自动化、个性化”未来发展
[汽车电子]
非常适用于车载摄像头模块!有助降低ADAS功耗和EMI解决方案
非常适用于车载摄像头模块! ROHM开发出SerDes IC“BU18xMxx-C”以及摄像头用PMIC“BD86852MUF-C” 提供有助于降低日益先进的ADAS的功耗和EMI的解决方案 全球知名半导体制造商ROHM(总部位于日本京都市)开发出非常适用于ADAS(高级驾驶辅助系统)的车载摄像头模块的SerDes IC※1“BU18xMxx-C”以及摄像头用PMIC※2“BD86852MUF-C”。这两款产品不仅可以满足对于模块的小型化和低功耗的需求,而且由于其低电磁噪声(低EMI)的特性,还有助于减少客户的开发工时。 ADAS系统通过组合LiDAR、声纳和摄像头等具有不同感测方法和感测距离的设备构建而成
[汽车电子]
聊聊车载摄像头的ESD问题
一前言 新能源汽车的浪潮越来越大,车身智能也越来越完善,而智能驾驶与传感器息息相关。据悉部分新能源汽车,整车使用的摄像头多达12个,红外、雷达波等其他传感器8个之多,而这些电子产品使用的越多,安全问题就越发引人关注,这里就针对车载摄像头的ESD问题来聊聊。 二结构 车载摄像头整体结构比较简单,复杂的是内部“电路”部分,不同协议的摄像头,电路略有区别,但是整体结构上基本不变,分为“前盖(镜头)”“后盖(接口)”“硬件(电路)”三大部分。 三ESD问题 一般来说,车载摄像头在ESD测试上体现出来的现象就两大类,一种是“花屏”,一种是“卡死”。花屏包含,屏幕闪烁、画面有雪花;卡死则包含,当前画面卡住不变化,设备黑屏不亮屏。
[嵌入式]