将eFPGA应用于嵌入式360度视域视觉系统中

发布者:Wanderlust123最新更新时间:2018-04-26 来源: 电子产品世界关键字:eFPGA  SoC 手机看文章 扫描二维码
随时随地手机看文章

  引言:2018年4月11日,工业和信息化部、公安部和交通运输部联合发布“关于印发《智能网联汽车道路测试管理规范(试行)》的通知”,为我国智能网联汽车道路测试提供了相关法律依据。三部委在赋予智能网联汽车上路资格的同时,也提出了若干严格的条件。下面就随嵌入式小编一起来了解一下相关内容吧。

  其中,在第二章“测试主体、测试驾驶人及测试车辆”的第七条第(四)点中,三部委要求:具备车辆状态记录、存储及在线监控功能,能实时回传下列第1、2、3项信息,并自动记录和存储下列各项信息在车辆事故或失效状况发生前至少90秒的数据,数据存储时间不少于3年:

  1. 车辆控制模式;

  2. 车辆位置;

  3. 车辆速度、加速度等运动状态;

  4. 环境感知与响应状态;

  5. 车辆灯光、信号实时状态;

  6. 车辆外部360度视频监控情况;

  7. 反映测试驾驶人和人机交互状态的车内视频及语音监控情况;

  8. 车辆接收的远程控制指令(如有);

  9. 车辆故障情况(如有)。

  由此可以看出,上述条件除了对进行道路测试的智能网联汽车有若干功能性要求外,还在相关领域将推动若干新一代通信、监控、控制和存储等技术的发展,为智能网联汽车专用SoC的开发提供新的市场机会。

  嵌入式FPGA(eFPGA)将在这类芯片中扮演重要角色。如为了满足第六条中提到的车辆外部360度视频监控数据的获取和处理,采用eFPGA来设计相关功能芯片具有很明显的优势。作为同时提供独立FPGA芯片和eFPGA IP产品的公司,Achronix可以帮助智能汽车SoC设计人员先在FPGA芯片上开发和调试相关功能,而在市场进入批量化应用后无需显著修改设计,立即将设计移植到搭载了eFPGA的SoC之上。

  有关eFPGA如何支持嵌入式360度视域视觉系统设计,请阅读Achronix Semiconductor资深产品营销经理Alok Sanghavi的文章,标题为“将eFPGA应用于嵌入式360度视域视觉系统中”。

  将eFPGA应用于嵌入式360度视域视觉系统中

  作者:Alok Sanghavi,Achronix Semiconductor资深产品营销经理

  带有多个高分辨率摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机的视频流(最多6个) 被汇聚在一起逐帧处理,进行失真和其他图像伪影校正,调整曝光和白平衡,然后动态拼接成一个360°全景视图,以4K清晰度和60 fps帧频输出,最终投影到一个球形坐标空间上。

  目前用于此类应用的高分辨率鱼眼相机镜头通常具有一个广角视域(FOV)。环视相机系统最大的瓶颈之一是: 实时到或从外部存储器存储/读取和访问多路摄像机输入数据,然后将其作为一个单一帧进行处理。硬件需要在一帧延迟内,在输入摄像机传入的原始传感器数据和拼接输出视频之间完成处理运行。

  高性能计算平台一直朝着与CPU一起协同使用FPGA的方向发展,以便为实时图像处理任务提供专门的硬件加速。 这种配置使得CPU能专注于特别复杂的算法,其中它们可以快速切换线程和上下文,并将重复性任务分配给一个FPGA,以充当可配置的硬件加速器/协处理器/卸载引擎。 即使将FPGA和CPU作为分立器件使用,系统也可以提高整体效率,因为这些技术不会发生冲突,而是像将手套戴在手上一样来配合在一起。

  例如,从鱼眼镜头获得的图像遭受严重失真之苦,因而基于多个相机视频生成的拼接操作是高度计算密集型的任务,其原因为它是点像素操作。这种拼接需要大量的实时图像处理和高度并行化的架构。但是,这种下一代的应用超过了FPGA可不断接续实现的性能,主要是由于芯片吞吐数据的延迟。这反过来会影响整个系统的整体延迟、吞吐速度和性能。

  在一个SoC中加入可与CPU一起嵌入的eFPGA半导体知识产权(IP)。与一个独立的FPGA芯片加CPU解决方案相比,嵌入式FPGA阵列结构具有独特的优势,主要优势在于性能更强。一个eFPGA可通过一个宽的并行接口直接连接到ASIC(无I / O缓冲器)上,提供显著提高的吞吐量,以及以个位数时钟周期来计数的延迟。低延迟是复杂的图像实时处理过程的关键,例如纠正鱼眼镜头的失真这样的处理。

  利用Speedcore eFPGA IP,客户可以定义其逻辑、内存和DSP资源需求,然后Achronix可配置其IP以满足他们的需求。查找表(LUTs)、RAM单元块和DSP64单元块可以像积木一样进行组合,为任何给定的应用创建最佳的可编程结构。

  除了标准逻辑、嵌入式存储器和DSP单元模块之外,客户还可以在Speedcore eFPGA结构里面定义他们自己的功能块。通过把这些定制功能模块与传统构建模块一起集成到逻辑阵列结构中,可添加优化过的功能来减少面积和提高目标应用的性能,可使eFPGA的性能得到极大的提高,特别是对嵌入式视觉和图像处理算法非常有效。

  用自定义单元块来成功地解决高性能图像处理就是一个很好的例子,在实现您只看一次(YOLO)这一种使用了神经网络的、最先进的、实时对象检测算法时,可以优于早期的方法大大提高性能。该算法依赖于大量的矩阵乘法器,而在FPGA中实现时,这些矩阵乘法器需要使用DSP和RAM模块来构建;YOLO所需要的DSP和RAM模块之间的最佳配置,与一个典型的FPGA阵列结构中发现的不匹配之处就会出现问题。例如,FPGA阵列结构可能提供18×27乘法/累加单元块和32×128 RAM的DSP单元块,而此时的最佳解决方案可能是带有48×1024 RAM的16×8 DSP单元块。通过创建实现最佳DSP和RAM模块配置的定制单元块,所得到的Speedcore阵列结构所使用的芯片面积就会减少40%,来实现相同的功能并且能获得更高级别的系统性能。

  在SoC中嵌入FPGA阵列结构提供了两个额外的系统级好处:

  更低的功耗 - 可编程I / O电路占独立FPGA芯片总功耗的一半,而一个eFPGA可以与主控SoC中的其他模块直接内部线路连接,完全不需要大型可编程I / O缓冲器。

  更低的系统成本 - 由于eFPGA只需实现特定功能,eFPGA的裸片尺寸远小于等效的独立FPGA芯片,这是因为eFPGA不再需要可编程的I / O缓冲器和不必要的接口逻辑。

  借助超低延迟和实时处理功能,可以有效实现基于360°视域的视觉系统,具有定制单元块的Speedcore eFPGA与同一主控SoC中的一个CPU配合使用,非常适合去实现专用功能,如目标检测和图像识别、变形和失真校正、以及最后将最终图像拼接在一起。在SoC中嵌入FPGA阵列结构是超深亚微米时代系统集成的一个自然发展过程。

    以上是关于嵌入式中-将eFPGA应用于嵌入式360度视域视觉系统中的相关介绍,如果想要了解更多相关信息,请多多关注eeworld,eeworld电子工程将给大家提供更全、更详细、更新的资讯信息。

关键字:eFPGA  SoC 引用地址:将eFPGA应用于嵌入式360度视域视觉系统中

上一篇:半导体激光产业发展空间较大 技术发展速度加快
下一篇:联华电子公佈 2018 年第一季财务报告

推荐阅读最新更新时间:2024-05-03 02:47

云数据中心SoC革新IP怎样成全的?
All in Cloud已然势不可挡。 凭借云计算的弹性扩容、按需使用、按量付费等优势,云数据中心正在蚕食传统数据中心的领地。据 Cisco 全球云指数测算,“到 2021年,94%的工作负载和计算实例都将在云数据中心进行处理”。 相应的,为提升云数据中心的效率和性能,正激发计算、存储和网络架构的演变,如AI加速器、软件定义网络 (SDN)、通信网络处理器和固态硬盘 (SSD) 存储都已蔚然兴起,推动着下一代SoC 的“革新”,特别是底层IP的“焕新”。 SoC融合计算、存储、网络“新趋势” 在数据洪流之下,融合基础架构 (CI) 或超融合基础架构 (HCI) 系统通过将计算、存储和网络三大核心整合到同一套解决方案当中,得以在
[手机便携]
云数据中心<font color='red'>SoC</font>革新IP怎样成全的?
DesignStart计划升级 物联网SoC设计选择更多元
近日硅智财(IP)授权厂商安谋(ARM)正式宣布DesignStart计划升级,除了既有的Cortex-M0之外,新增了Cortex-M3处理器与相关子系统加入DesignStart计划。 在未来厂商无须预付授权金(Licence fee),权利金(Royalty)也将在厂商开发产品成功出货之后再收取。 透过此合作方式期待带给新创与大型OEM厂商开发人员更为友善、简单、快速的SoC开发环境进而加速物联网科技与嵌入式产品的发展。 ARM应用工程经理徐达勇分享,DesignStart升级版计划是ARM在提升物联网领域市占率的重要策略。 在未来势必会有更多的互联产品出现在市场上因此能够预期市场将有大量的客制化SoC需求。 透过降低Cor
[半导体设计/制造]
设计水平晋级90纳米,IP问题日益凸显
纵观近几年中国集成电路设计产业的成长历程,尽管产业规模尚小,但发展迅速。据中国半导体行业协会统计,2005年中国大陆IC设计业销售收入同比增幅达52.5%,首次突破100亿元,达到124.3亿元。在连续几年的调查中,我们也发现中国IC设计企业的研发水平在稳步提高,产品档次也有了高端突破,但同时,随着基于IP复用的SoC设计渐成主流,中国本土IC公司面临的IP问题也日益凸显。 从另一个角度看,2005年中国设计业进入了理性发展期。在产业的发展过程中,企业间出现了整合重组、优胜劣汰现象,公司数量几乎没有什么增长,与前几年的激增形成鲜明对比。截至2005年,中国IC设计公司总数达479家,与2004年相比,同比增长率仅为0.6% (中
[焦点新闻]
Fraunhofer IIS/EAS选用Achronix的嵌入式FPGA(eFPGA)来构建异构Chiplet
通过本次合作,双方将共同创建由eFPGA赋能的Chiplet解决方案,剑指下一代芯片间互连技术的验证 硅谷圣克拉拉和德国德累斯顿,2023年5月——为了持续致力于为半导体市场提供行业领先的解决方案,先进封装解决方案设计领域的领先应用研究机构Fraunhofer IIS/EAS,以及业内唯一可同时提供高端FPGA和嵌入式FPGA(eFPGA)半导体知识产权(IP)解决方案的独立供应商Achronix半导体公司(Achronix semiconductor Corporation)日前共同宣布: 双方已达成合作伙伴关系,共同构建异构chiplet解决方案,以验证其在先进的高性能系统解决方案中的性能和互操作性 。 Fraunho
[嵌入式]
用户报告称谷歌不将再允许麒麟SoC安装安卓应用
Google早已不再对华为提供安卓系统和生态的授权,而华为正在大力推行自己的HHMS生态,号称在规模上已经全球第三。   但是看起来,Google并不打算就此放过华为。   一位国外网友发帖称,经他发现,Google如果检测到采用麒麟处理器的华为设备,就会禁止在上边安装Google的应用。   该网友表示,多年来,他一直都是手动下载Google地图的APK安装文件,再手动安装。   但是最近,这一招在采用麒麟处理器的华为设备上第一次失灵了,最新版本的Google地图拒绝安装,提示“CPU/处理器不兼容”,但在同样的设备上,旧版本一切正常。   他测试了华为P20、P30、P40等多款机型,发现都已经无法安装新版的Goog
[手机便携]
用户报告称谷歌不将再允许麒麟<font color='red'>SoC</font>安装安卓应用
座舱域控制器硬件架构方案:SoC + MCU
座舱域控制器是什么 座舱域控制器(Cabin Domain Controller)是一种用于航空飞机中的电子系统,用于集中管理和控制飞机内部的各种功能和系统。它是飞机电气系统的关键组件之一。 座舱域控制器的主要功能是将飞机上的各种设备和系统进行集成和协调,以实现对飞机座舱内部的各种功能和服务的控制和管理。它承担了多个子系统的集中控制和管理任务,包括各种显示系统、通信系统、音视频系统、照明系统、环境控制系统、安全系统等。座舱域控制器通过接收和处理来自这些子系统的命令和数据,控制和协调它们的工作状态,并向座舱内的用户提供各种功能和服务。 座舱域控制器还负责监测和诊断座舱各个子系统的状态和健康状况。它可以通过传感器和数据总线获取各个
[嵌入式]
座舱域控制器硬件架构方案:<font color='red'>SoC</font> + MCU
一种新颖的多媒体SoC芯片--Virgine G2
摘要:韩国ADChips公司推出的内嵌32位微处理器的多媒体芯片Virgine G2,集视频、音频处理为一身,内部包括1个基于三维图形算法的二维图形加速器,还嵌入了1个32通道的8/16位音频引擎,以及视频DAC、DRAM控制器、DRAM控制器、DMA、定时器、双串口等多种外设。本文就韩国ADChips公司的多媒体处理芯片Virgine G2的结构和使用的方便性作一些分析。 关键词:嵌入式EISC CPU 图像加速器 音频引擎 PC内部是由CPU、主板、显示卡、声卡等一系列器件组成的,体积大、功耗高。在嵌入式应用中对体积和功耗有严格限制,需要一种集CPU、显示和声卡于一身的芯片。韩国ADChips公司适时推出了一款内嵌32位微
[手机便携]
自动驾驶中的DCU、MCU、MPU、SOC和汽车电子架构
近年来,SDV(Software Define Vehicles,即软件定义汽车) 概念逐步被整车厂认知,根源在于 “汽车如何体现差异化”问题的变迁,随着电动化带来的汽车电子构架革新,汽车硬件体系将逐渐趋于一致,如何构建通用化硬件,成为实现软件软件定义汽车的前提基础。只有把硬件通用化,差异化减少,才能减少对软件适配的成本,做到真正的软件定义汽车。 下图为博世2017年在一汽车会议上分享的其在整车电子电气架构方面战略图。整车电子电气架构发展分为了六个阶段:模块化阶段- 功能集成阶段- 中央域控制器阶段- 跨域融合阶段- 车载中央电脑和区域控制器- 车载云计算阶段。 01 分布式电子电气架构
[汽车电子]
自动驾驶中的DCU、MCU、MPU、<font color='red'>SOC</font>和汽车电子架构
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved