为配备集成处理器的 ADAS 域控制器构建多摄像头视觉感知系统

发布者:萌芯工匠最新更新时间:2023-11-21 来源: EEWORLD关键字:处理器  ADAS  控制器  摄像头  视觉感知 手机看文章 扫描二维码
随时随地手机看文章

当我们开车穿过社区和城镇并看到孩子们在步行和骑自行车时,我们会意识到道路安全的重要性。美国国家公路交通安全管理局 (NHTSA) 2021 年的一项研究显示,在美国,平均每天有 20 名行人在交通事故中丧生——每 71 分钟就有一名行人死亡。世界卫生组织在 2022 年的一项研究中发现,每年有 130 万人因道路交通事故死亡其中一半以上是行人、骑自行车和骑摩托车的人。不幸的是,驾驶员分心是造成这些事故的主要原因之一,而这种分心的趋势似乎每年都在增加。


高级驾驶辅助系统 (ADAS) 有助于减轻驾驶分心的影响,从而为驾驶员、行人和弱势道路群体提供周全的保护。为了达到五星安全等级并满足监管要求,需要增加备用摄像头、前置摄像头和驾驶监控系统。因此,许多制造商正在改进其车辆架构,以在 ADAS 域控制器中集成各种主动安全功能。


域控制器通常需要:


• 与多种传感器连接的能力:数量、模式和分辨率。

• 用于感知、驾驶和停车应用的视觉、人工智能 (AI)和通用处理。

• 与低带宽和高速车载网络的连接。

• 功能安全和保障可防止关键器件遭到破坏。


ADAS 域控制器的处理和系统要求


对系统内存、计算性能和输入/输出 (I/O) 带宽日益增长的需求使系统设计变得更加复杂,并提高了系统成本。如今的高端 ADAS 系统使用多个不同分辨率的摄像头,并在汽车周围配备了各种雷达传感器,以提供驾驶环境的完整视图。对于从传感器收集的每组图像,AI 和计算机视觉支持的检测和分类算法都需要以每秒高帧率运行,以准确地解释场景。这给系统和软件设计人员带来了多项挑战,包括将这些传感器连接到处理系统、将其内容传输到存储器中,以及同步数据以供分类算法实时处理。


德州仪器 (TI) 的 TDA4VH-Q1 片上系统 (SoC)(如图 1 所示)集成了视觉预处理、深度和运动加速、AI 网络处理、汽车网络接口和安全微控制器 (MCU) 等功能。TPS6594-Q1 电源管理集成电路经过优化,可在需要满足汽车安全完整性等级 (ASIL) D 的应用中为 TDA4VH-Q1 供电,包括一些功能安全特性,比如电压监测、TDA4VH-Q1 SoC 的硬件错误检测,以及一个问答看门狗,用于监测 SoC 上的 MCU 是否存在导致锁定的软件错误。


 image.png

图 1:TDA4VH-Q1 SoC 的简化图


支持多摄像头视觉感知


需要提高处理器性能的 ADAS 应用示例之一是多摄像头视觉感知。在汽车周围安装摄像头可提供 360 度视野,有助于防止正面碰撞,并帮助驾驶员对盲点和邻近车道的交通和行人活动保持警惕。


Phantom AI 利用 TI 的 J784S4 处理器开源软件开发套件 (SDK),为 TDA4VH-Q1 开发了一个多摄像头视觉感知系统。Phantom AI 的 PhantomVision™ 系统为 TDA4VH-Q1 处理器提供了一整套 ADAS 功能,从符合欧盟通用安全法规到符合美国汽车工程师学会 (SAE) L2 级和 L2+ 级标准。除了车辆、弱势道路群体、自由空间、交通标志和交通信号灯检测等基本功能外,PhantomVision™ 还包括了施工区域、转向灯和尾灯检测以及基于 AI 的自我路径预测等附加功能。其多摄像头感知系统由前视、侧视和后视摄像头组合而成,可全方位覆盖车辆的 360 度视野,有助于消除盲点(图 2)。


 image.png

图 2:Phantom AI 使用的 360 度视野的摄像头位置


通过利用 TDA4VH-Q1 的高性能计算、深度学习引擎和用于信号和图像预处理的专用加速器的组合,Phantom AI 使实时操作成为可能。专用视觉预处理加速器可处理相机流水线,包括图像捕捉、色彩空间转换和多尺度图像金字塔构建。结合德州仪器的深度学习库,TDA4VH-Q1 的每秒数万亿次高速运算多核数字信号处理器和矩阵乘法辅助引擎可提供具有快速算法和最小 I/O 操作调度的高效神经网络,从而实现高精度和低延迟。在本视频中,您可以了解到使用 TDA4VH-Q1 处理器的 PhantomVision™ 系统的 ADAS 功能。


结语


为 SAE L2 级和 L2+ 级驾驶构建复杂的多传感器 ADAS 系统并不需要水冷式超级计算机。借助TI TDA4VH-Q1 这一类设计精良的 SoC,并由 Phantom AI 等专业汽车工程师进行设计和开发,可以向市场推出符合功能安全要求的高性价比系统。虽然我们对自动驾驶的未来充满热情,但设计符合功能安全要求的经济高效系统的真正目的是使我们的世界变得更加安全。使 ADAS 技术惠及更多汽车市场领域(使更多汽车配备更多 ADAS),为驾驶员和行人带来更好、更安全的体验。


其他资源


• 订购 TDA4VH-Q1 评估模块。

• 观看“汽车应用中的 Jacinto™ 处理器”视频培训系列。


关键字:处理器  ADAS  控制器  摄像头  视觉感知 引用地址:为配备集成处理器的 ADAS 域控制器构建多摄像头视觉感知系统

上一篇:思特威重磅推出5MP高分辨率、高帧率面阵CMOS图像传感器新品,赋能高端工业机器视觉相机
下一篇:英飞凌XENSIV™杂散场稳健型线性TMR传感器,可实现工业和消费应用中的高精度长度测量

推荐阅读最新更新时间:2024-02-25 18:07

一加6T渲染图出炉 拥有美人尖与后置三摄像头
     一加科技在今年5月份发布了旗舰机一加6,按照一加科技的发布新机规律,下半年还有一款名字叫做一加6T的手机登场,虽然目前关于这款手机没有任何的信息,但是广大网友们的想象力是无穷的,硬是把一加6T的渲染图给做了出来,我们来看看。 在YouTube上一个名叫Waqar Khan的UP主发布了一段一加6T的渲染图,他的灵感来源是OPPO R17系列的外观爆料图,只见一加6T因为去掉了一加6的刘海设计,用上了美人尖设计,所以拥有了超高的屏占比。一加6T的背面部分也有改进,从一加6的竖排双摄升级到了竖排三摄像头,常见的指纹识别键不见踪影,考虑到一加6T是一款旗舰手机,所以也用上了屏幕指纹识别技术。 考虑到后置三摄像头要到明年才能
[手机便携]
享有盛誉的树莓派微计算机在日本新增制造中心
中国上海,2016年12月5日 - 服务于全球工程师的分销商 Electrocomponents plc 集团旗下的贸易品牌RS Components (RS) (LSE:ECM) 今天与树莓派(Raspberry Pi)基金会联合宣布,依据一份本地合同制造协议,将在日本制造其最新的树莓派3信用卡尺寸单板计算机。此次提升树莓派的全球产能,是为了满足亚太地区对这一流行平台不断增长的庞大需求。 RS Components 公司亚太区产品、供应商、库存和定价管理主管William Chong表示:“树莓派的现有型号将继续在英国南威尔士制造,而双重制造地点的就位,将可满足未来的全球需求增长。亚太区是树莓派的一个显着增长市场,这一新的
[半导体设计/制造]
享有盛誉的树莓派微计算机在日本新增制造中心
ARM处理器上电/复位操作
ARM处理器上电与复位操作过程类似,都是从处理器的低端复位向量地址0位置读取第一条指令,由于ARM处理器的异常中断向量是连续排列的,所以异常中断入口指令一般都是一条跳转指令,至少跳过异常中断向量区,然后按照程序流程执行。 不同嵌入式处理器的启动模式有很大差别,相同架构的不同处理器型号或序列的启动模式也不一样,比如:MC68VZ328(MC68K)有4种启动模式;PPC405GP(PowerPC)有两种启动模式;PPC440EP(PowerPC)有8种启动模式;SB1250(MIPS)有两种启动模式;PNX1700(DSP)有4种启动模式,而大部分处理器只有一种启动模式,可通过芯片的数据手册了解芯片的启动模式。 ARM处理器中的大
[单片机]
基于三菱FX2N的增量式PID控制器设计
在工业生产中,常需要采用闭环控制方式来控制温度、压力、流量等连续变化的模拟量。无论是使用模拟控制器的模拟控制系统,还是使用计算机的数字控制系统,PID控制器都得到了广泛的应用。这是因为这种方法不需要精确的控制系统数学模型,有较强的灵活性和适应性。但是在数字PLC控制系统中,普通的PID算法对所有过去状态存在依赖性,从而引起系统较大的超调,使系统稳定性下降。增量式PID控制算法每次输出只输出控制增量,必要时可通过逻辑判断限制故障时的输出,从而降低了因机器故障导致PID误输出给系统带来严重后果的影响。 在实际系统中,PLC控制模拟量可采用PLC自带的PID过程控制模块,但对要求比较高的场合采用改进的PID控制算法,就必须由用户
[工业控制]
基于三菱FX2N的增量式PID<font color='red'>控制器</font>设计
Altera推出业界首款基于MIPS的FPGA软核处理器
Altera公司 (NASDAQ: ALTR)、MIPS科技公司(NASDAQ: MIPS) 以及System Level Solutions (SLS) 公司今天推出了MIPS-Based™、FPGA优化软核处理器,适用于Altera FPGA以及ASIC器件。MP32处理器是MIPS®兼容应用类处理器,继承了业界规模最大的软件开发工具以及操作系统支持生态系统。MP32处理器是业界第一款基于FPGA的软核处理器,由Wind River公司的VxWorks RTOS和MIPS Navigator ICS软件开发套装提供支持。与Altera丰富的嵌入式知识产权(IP)系列内核、创新的FPGA设计工具以及业界最好的可编程逻辑系列器
[嵌入式]
Altera推出业界首款基于MIPS的FPGA软核<font color='red'>处理器</font>
Note6发布:魅蓝旗下首款双摄+高通处理器手机来临
    新浪手机讯 8月23日下午消息,魅蓝今日在北京发布手机新品Note 6( 图集 ),它是整个魅蓝旗下首款采用高通处理器的手机产品,定价1099元起;一同发布的还有EP52蓝牙耳机,定价299元。 双摄配高通!魅蓝Note6真机高清图赏 1/14 查看原图 图集模式 魅蓝今日在北京发布手机新品Note 6,它是整个魅族公司(魅蓝+魅族品牌)旗下首款采用高通处理器的手机产品,定价1099元起。它的双摄采用了1200万像素主镜头+500万像素辅助镜头设计。   “魅族重新出发的首款产品” 魅蓝Note 6   李楠在发布会上反思了去年的问题,声称“套娃(相似的外形)是错误的”“机海战
[手机便携]
让 10GigE 机器视觉变得可靠且经济实惠 - 包括多摄像头设置
让 10GigE 机器视觉变得可靠且经济实惠 - 包括多摄像头设置 概述 快速检测线、半导体工厂、智能交通系统、运动分析和容积捕捉等多种视觉系统应用场景都需要高分辨率、高 FPS 和高数据传输率来达到更好的结果。对于希望利用帧率更快和分辨率更高的机器视觉摄像头来改进输出的视觉系统工程师来说,从 1GigE 升级到 10GigE 是显而易见的选择。然而,根据 AIA(自动成像协会)的研究,其采用相当缓慢。考虑到这种升级带来的三个技术挑战:可靠性(丢包)、高 CPU 使用率和高延迟,这一点可以理解。本文介绍了 Teledyne FLIR Oryx + Myricom 捆绑解决方案如何解决这些挑战。 更新 1:完美的
[传感器]
让 10GigE 机器<font color='red'>视觉</font>变得可靠且经济实惠 - 包括多<font color='red'>摄像头</font>设置
汽车微控制器介绍
随着智能汽车的发展,用户对汽车的安全性、稳定性、智能化不断提出更新的要求。车载各项功能的实现都需要复杂的芯片组和算法的稳定支持,MCU将发挥更大的作用。 什么是汽车微控制器? 汽车微控制器又称MCU,是汽车电气控制系统的核心部件。MCU必须具备良好的高温性能和稳定性,才能控制车内所有电子系统,包括多媒体、音响、导航、悬架等。与普通MCU相比,汽车MCU对品质要求更高,在复杂环境下不易损坏汽车的。一般来说,最重要的是可靠性和温度范围,民用级为0-70℃,工业级为20-85℃,汽车级为40-85℃。 MCU将成为“汽车大脑”的重要组成部分,是汽车的智能大脑,发挥着“思考、计算、控制”的核心功能。随着汽车电子电气架构向集中式
[嵌入式]
小广播
添点儿料...
无论热点新闻、行业分析、技术干货……
最新工业控制文章
换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved