面向未来智能驾驶的嵌入式视觉的探索与思考

发布者:沈阳阿荣最新更新时间:2018-05-10 来源: eefocus关键字:智能驾驶  嵌入式视觉 手机看文章 扫描二维码
随时随地手机看文章

  感知系统包括视觉系统在内,未来随着从ADAS到自动驾驶的逐步过渡,对感知系统会有一个巨大的变化。一方面,之前ADAS更多关注点在解决误报率方面,而未来自动驾驶行业会更加关注漏检率。

 

近日,在上海举办的2018高工智能汽车开发者大会上海站上,来自国内双目嵌入式视觉初创公司元橡科技CTO任杰表示,未来自动驾驶对安全性要求更高,不能漏报,一旦漏报就是一个非常严重的交通事故。比如除了车、人等常见的一些障碍物,未来车辆感知系统必须检测到全类型的障碍物。

传统的单目视觉,首先依赖于大量的样本,对于中国这样的复杂道路场景,就要采集更多有特色的样本,谁采集的数据更多就优势越大。同时,需要对图像有一个精准的识别,只有识别了以后才能判断这个物体大概离车有多远。

因此,单目视觉系统如果不知道这是一个什么障碍物,就无法知道它离车有多远。所以,传统的单目视觉取决于识别图像的精准度。而对于双目视觉系统来说,不管认不认识这个物体,它的点云就在三维空间里,首先可以保证车辆安全,这是双目的最大优势之一。

双目做ADAS不依赖样本库,测距直接通过简单的规则——将路面以上凸起的物体都可视为障碍物,整个算法是全白盒化的,不会存在识别不到的问题。而且一旦出现问题,就可以直接找到原因,不会像单目深度学习算法是黑盒的逻辑。

此外,传统的单目视觉最大瓶颈在于天气变化,尤其是雨雾及夜晚环境。而双目识别是一个全类型环境识别,以目前的主流自适应巡航ACC为例,双目视觉可以减少光照变化带来的影响。

比如,车辆在过隧道的时候它的颜色、纹理发生了非常大的变化,可能从一辆白车变成黑车,对于摄像头跟踪来讲是一个很大的难度。双目视觉可以很大的程度上做弥补,因为在三维空间上这个点云始终存在的。甚至是一些相对环境恶劣的天气,由于双目可以获取深度信息,在很大程度上可以克服此类情况。

但此前,国内做双目立体视觉的公司并不多,之所以没有被大范围应用于自动驾驶,主要是受制于硬件条件的不成熟。

在任杰看来,做立体相机的量产落地,几个关键的指标要达到,包括尺寸、功耗、成本、性能等。以元橡科技的产品为例,尺寸可以做到目前世界最小的车载立体视觉相机。性能方面,100米测距范围保持误差5%以内,完全可以达到883要求,同时做到功耗低于5W,延时小于3ms。

双目的摄像头是一个天然融合的传感器,它将深度学习和图像学习糅合,使得后续的处理速度会非常快。目前,元橡科技使用FPGA的方式,将传感器深度图像生成的时间压缩到了毫秒级别,这意味着处理解析图像数据,得出结果几乎是实时的,给控制决策部分留下了非常充裕的时间。

立体视觉的另外一个难点就是两个相机的一致性问题,就像天下没有两片相同的叶子,哪怕是工业流水线上生产出来的相机,也存在一定的差异性。

因此,为了使得立体相机达到同步拍摄,系统的软件结构、运行机制都需要进行软硬件调整,才能达到统一性。双目跟单目最大的区别是,前者需要软硬件的联合优化,这也是为什么元橡科技选择要做软硬件一体的解决方案商。

双目摄像头的方案,CMOS融合图像数据需要相匹配的ISP处理,现有的ISP方案都是针对单目的,不太适合做双目的处理,所以元橡科技从ISP这个硬骨头开始啃,争取在相机的每个处理单元做到最优。

任杰透露,公司从去年已经在研发芯片,预计在今年第四季度可以对外发布自主研发的双目图像处理芯片。

而在国际上,斯巴鲁1989年开始对立体摄像头(即双目摄像头)技术进行研究,并于1999年把该技术应用(命名为EyeSight)到量产车的ADAS系统之上。在新的第三代ADAS系统中,加入制动控制车速的功能成为了一个重要设计目标,以提升主动巡航控制的舒适性。

后来随着毫米波雷达技术逐渐成熟,斯巴鲁通过融合立体摄像头数据和毫米波雷达数据提升了ADAS系统的工作稳定性及对极端天气的适应能力。

目前EyeSight已经发展到3.5代,但仅限于日本市场(其他市场为第三代)。第三代EyeSight功能包含PCB预防碰撞刹车系统、ACC主动车距定速控制系统、PCTM预防碰撞油门控制系统、LDW车道偏移警示系统、LSW车道偏摆警示系统、LVSA前车驶离警示系统这六大功能。

2017年3月,欧洲Euro-NCAP(安全评鉴协会)发布了新一系列包扩奥迪、丰田、路虎等在内的车型的碰撞测试结果,其中路虎的发现车型获得了五星。获得五星的路虎车型,搭载的主动安全系统中,前向采用了双目摄像头的方案,而这个方案也成为了它能脱颖而出的关键。

谈及大规模量产,元橡科技希望将来把产品做成一个标准件,然后批量给主机厂、自动驾驶公司使用,而不是忙不迭的做一个又一个的定制项目。同时,未来希望做全球顶级的双目视觉软硬件方案提供商。


关键字:智能驾驶  嵌入式视觉 引用地址:面向未来智能驾驶的嵌入式视觉的探索与思考

上一篇:中央高位刹车灯(CHMSL)是如何考虑散热的?
下一篇:京东与盯盯拍达成战略合作布局车联网领域智能硬件市场

推荐阅读最新更新时间:2024-05-03 02:52

Synopsys推出高性能嵌入式视觉处理器IP
DesignWare EV处理器系列提供更快的目标监测并显著降低功耗。 美国加利福尼亚州山景城 2015年4月-- 亮点: 全新DesignWare EV嵌入式视觉处理器系列显著地提升了诸如视频监控、手势识别和目标监测等嵌入式视觉应用的精准度和性能 专为视觉应用而优化的多核架构提供超过1000GOPS/W的性能,其功耗效率比其它可用的视觉处理器高5倍 基于诸如OpenCV和OpenVX等多种新兴嵌入式视觉标准的综合编程环境可简化应用软件开发 新思科技公司(Synopsys, Inc.,纳斯达克股票市场代码:SNPS)日前宣布:其全新DesignWare EV视觉处理器产
[嵌入式]
车辆控制中的“实时性”及其影响因素
引言 在最近一起有公开报道的辅助驾驶相关事故中,由于AEB(自动紧急制动系统)功能被怀疑没有起作用,又有一家车企的高级辅助驾驶功能遭到质疑。其实,目前大多数车辆中AEB功能的生效车速区间在70km/h以下,美国公路安全保险协会IIHS对新车AEB的最高测试速度仅为40km/h。 AEB功能之所以跟车辆速度强相关,主要是由于车辆从检测到障碍物到采取刹车动作需要一定的时间,而车速越快,留给系统反应的时间就越少。在传感器探测能力确定的情况下,系统从评估传入的传感器数据到启动刹车必须在毫秒级(如300ms)的时间内完成,否者就可能为时已晚,失去了意义。这正是行业对于 “高实时性”要求的具体体现。 图:实时系统(参考文献9)
[汽车电子]
车辆控制中的“实时性”及其影响因素
无图也能跑的L2.9级智能驾驶辅助系统!华为ADS 2.0有多猛?
如果说华为是数码界的顶流选手,在汽车界华为就是妥妥的后起之秀。此前与赛力斯汽车联合推出的问界M7产品力之强甚至让理想提前停产 理想one ( 参数 | 询价 ) 这款理想的超强单品。在一段时间后,华为又为大家带来好消息——华为ADS 2.0。 闪击特斯拉FSD? 前有华为MATE 60王炸新品,后有华为ADS 2.0要把国内车圈掀个底朝天。 华为ADS 2.0的妙处在于,它不需要依赖高精地图,就算是农村窄路也能跑。光这一项指标,就可以让很多友商难受不已。而且这套系统可以支持复杂路况下的城市NOA功能,虽然它的城市NOA还不能实现100%接管,那也比众友商开发的城市NOA强上不少。 再看硬件,都说自主品牌很喜欢卷驾
[汽车电子]
无图也能跑的L2.9级<font color='red'>智能驾驶</font>辅助系统!华为ADS 2.0有多猛?
意法半导体(ST)迎接中国数字新时代
中国,2016年3月15日 横跨多重电子应用领域、全球领先的半导体供应商意法半导体(STMicroelectronics,简称ST;纽约证券交易所代码:STM)隆重亮相2016慕尼黑上海电子展,展出其最新的智能驾驶、智能环境和智能产品的技术和产品。该展会于上海新国际博览中心举行,意法半导体位于E2厅2102号展台。 意法半导体的智能驾驶解决方案瞄准驾驶辅助系统(驾驶安全和数据安全)、绿色驾驶(发动机能效和汽车电动化)、联网驾驶(车载信息娱乐和信息服务)几大应用领域。通过提供高能效的电源和能源管理、智能(LED)照明和家庭自动化解决方案,意法半导体的智能环境技术产品解决目标应用在整个电力周期内的能效问题。意法半导体还提供在家里、办
[物联网]
百度汽车机器人横空出世,智能驾驶跨入L5时代
当智能驾驶能力达到L4级的RoboTaxi开始满街跑的时候,人们开始期待L5级车辆的登场。 时间进入2021年,智能驾驶技术正在加速落地。 特斯拉FSD、蔚来NOP、小鹏NGP,以及姗姗来迟的理想NOA,造车新势力们捣鼓出来的L2级辅助驾服务,已经在最近数年内先后实装。由百度、小马智行、文远智行等科技公司所主导的L4级自动驾驶系统,也纷纷以RoboTaxi之名,成规模投入到多个重点城市,进行区域性试运营。 然而许多人都有所疑问,代表自动驾驶最高等级的L5,最后将会在什么时间、以怎么样的形态登上舞台? 8月18日的2021百度世界大会上,CEO李彦宏公布了名为汽车机器人的L5无人驾驶平台。 百度对L5的理解:汽车
[嵌入式]
百度汽车机器人横空出世,<font color='red'>智能驾驶</font>跨入L5时代
全球首个智能驾驶车险指数模型问世,将带来四大变革
驾驶行为难以量化一直是UBI车险后时代面临的现实难题,如今终于有了解决方案,专注智能安全驾驶汽车大数据的杭州好好开车创新性的提出了ABI模型概念。   ABI诞生   在11月15日召开的乌镇第三届世界互联网大会上,业内外目睹了全球首个智能驾驶车险指数模型(英文简称ABI)在中国的诞生。   好好开车CEO何崇中说,该车险指数模型是基于智能驾驶辅助系统生成的大数据开发的。其核心算法对驾驶习惯、驾驶行为和驾驶模式等主要评价维度作了优化,解决了驾驶行为难以描述和难以量化评价这两大问题。   同济大学汽车安全技术研究所所长朱西产教授说,这一指数模型将带来四大变革:一是可以给用户提供风险反馈,改善用户的驾驶行为习惯;二是可以为车险定
[汽车电子]
2022年,智能驾驶「十大关键词」
刚刚过去的2022年,对于智能驾驶而言,无疑是充满戏剧的。 这一年里,面对市场抛来的「智能驾驶何时能大规模落地?」的质疑,每家企业似乎都难独善其身。 然而这一年也是智能驾驶发展的关键破局之年。在寒潮之下,行业逐渐回归理性,从「技术为先」转向「量产为先」,智能驾驶正式从概念阶段迈向了商业化阶段。 一年不过365天。 如今站在2023年的起点上回看,2022年智能驾驶行业尽管度过了较为失意的一年,但仍跨过了不少技术以及政策的关口,而今迎来新的篇章。 新智驾试图梳理脉络,总结智能驾驶圈的十大年度关键词,为读者勾勒出完整的智能驾驶2022年。 关键词一:补盲激光雷达 2022年,在“重感知、轻地图”的智能驾驶路
[汽车电子]
新处理器力撑ADAS 德州仪器发动智能驾驶攻势
德州仪器(TI)在智能驾驶市场再发动新一波攻势,率先推出可与数字信号处理器(DSP)搭配运作的影像加速器,并将其嵌入于针对汽车驾驶辅助系统(ADAS)打造的新款系统单晶片(SoC)--TDA2x系列处理器内,可有效降低影像处理功耗,协助车厂革新驾驶体验。   德州仪器嵌入式处理业务开发经理黄维祥表示,德州仪器并非首次进入ADAS市场,然此次推出的TDA2x系列却是首次针对ADAS应用而开发的处理器,将有效解决DSP因过载运算造成的高耗能问题。   黄维祥进一步表示,德州仪器看好的ADAS应用主要有三个方面,分别为前镜头应用,可用于车道偏离辅助、交通标志辨别等;环景视野(Surround View)应用,可搭配智慧二维/三维(2
[模拟电子]
小广播
热门活动
换一批
更多
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

更多精选电路图
换一换 更多 相关热搜器件
更多每日新闻
随便看看
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved