智能摄像头将迈入64 位处理技术

最新更新时间:2022-01-05来源: EEWORLD作者: Arm物联网兼嵌入式事业部业务拓展副总裁马健关键字:摄像头  处理技术  Arm物联网  物联网  人工智能  机器学习 手机看文章 扫描二维码
随时随地手机看文章

智能摄像头技术正在逐步改变我们的生活,而未来,它将为我们彼此以及与周围世界的互动方式带来深刻的变化。从打造更安全、更高效的智慧城市,到实现安全、经济和绿色的无人驾驶技术,到在热带雨林中监控非法砍伐,这些场景都对先进机器视觉技术的需求日益增长。在多样而复杂的人工智能(AI)和机器学习(ML)应用场景对智能视觉系统的性能、实时性和可拓展性的推动下,摄像头系统越来越需要在端侧进行对图像、视频流以及其他传感器数据有效地进行分析处理,这就对摄像头硬件系统的处理能力的需求日益提高。简而言之,为了在边缘或终端摄像头上运行先进的AI工作负载,就需要更高性能的计算和智能数据处理技术,以满足高清成像、增强安全等应用需求。


随着笔记本电脑和智能手机的应用处理技术已经迁移到 64 位,智能摄像头也开始转向采用 64 位处理技术,使得利用更先进功能的前沿应用也可以在智能视觉系统中无缝平滑实现。例如,在世界各地的智慧城市中,我们看到摄像头能够运行AI算法来检测人、宠物、包裹、车牌和其他物体。而且,随着摄像头本地算力的提升以及AI技术在智能摄像头中应用的不断扩展,智能视觉处理工作负载不仅有可能在摄像头内置的 CPU以及日趋普遍的加速器上直接运行,而且这种边缘部署方式将越来越显示其优势,并有望成为主流。在这些技术发展的助力下,未来将有可能同时检测数百人或识别超速汽车的车牌,而无需再将大量数据传输到云端,影响处理的实时性。


为什么采用 64 位处理技术至关重要?


通过迁移至 64 位处理技术,可以更好地利用先进的64位CPU 硬件与身俱来的更高性能和效率。最重要的是,64 位 CPU 架构具有增强的寄存器支持和更大的内存映射。寄存器数量和宽度的增加意味着可以在减少内存访问次数的情况下处理更大的数据集,从而加快数据处理速度。更强的寄存器支持也意味着开发者可以利用先进的编译器优化技术,从而进一步提高性能。由于数据集在进出本地内存的交换会影响性能,因此,当提升的寄存器支持结合了 64 位架构带来的内存映射增加,软件就可以直接访问更多的本地数据进行处理,从而减少了对内存交换的需求。


随着智能摄像头的成像要求日益提高,低端摄像头和中高端摄像头分别开始采用 4K、8K分辨率。从 1080p 提升至 4K 意味着在相同的编码方案下,摄像头传入视频流的数据率翻倍。此外,为了更好地识别物体,帧率需要从 15fps 增加到 30fps 甚至 60fps,对数据率和性能的需求也将相应地继续扩增。更高的帧率将使摄像头能够以更高的精度检测、识别和辨别更小的物体与快速移动的物体。从多个视频流进行同步 4K 编码的需求,也对 CPU 性能提出了更高的要求。而这些都能很好地通过64 位处理器获得满足。


此外,为了满足成像和机器学习工作负载对于性能和带宽不断增长的需求,智能摄像头需要支持浮点运算。Armv8-A 64 位架构将单精度的每周期 FLOPS 性能提高了 2 倍,双精度中提高了 5 倍,从而改善了用户体验。


另外,从 Armv8 架构中的可收缩矢量扩展(Scalable Vector Extension, SVE)和 Armv9 架构中的 SVE2 开始,Arm 通过对 Neon 的扩展在成像和机器学习方面取得了进展,这一点也很重要。


 image.png

图 1:面向当前和未来智能摄像头的 Arm 64 位 CPU


提升机器学习性能


Arm 64 位架构(称为 AArch64)提供了更快、更大的内存访问,使机器学习模型能够更快地加载到内存。这种性能的提升可以加快执行来自智能摄像头的输入视频流的推理任务,从而更快地检测、识别和辨别图像中的物体。


为了充分利用视频编码器/解码器等片上加速器和处理器核心外部的机器学习硬件来实现高效的数据传输,必须优化内存带宽。提高系统内存流性能可以加快数据进出内存的速度,以供许多不同的硬件单元使用。图2显示了最常见的内存流基准,并展示了从 32 位 CPU 迁移到 64 位 CPU 时,性能可以提高 3.75 倍。


 image.png

图 2:从 Cortex-A7 (32 位) CPU 迁移到 Cortex-A35( 64 位) CPU 时的内存流性能提升


实现高级安全功能


64 位 ARMv8-A 架构在其 CPU 中提供了原生安全功能,其中加密指令 AES、SHA 和 CRC 可以在软件加密的基础上提供 3 至11 倍的性能提升,可用于小粒度加密技术。随着 Arm 继续提高关键加密操作的性能,智能摄像头能够持续改进其加密算法,以支持物联网应用对隐私和安全的持续需求。


image.png

图 3:从 Cortex-A7 (32 位) CPU 迁移到 Cortex-A35 (64 位) CPU(带有加密扩展)时的加密性能提升


对开发者的影响:软件和工具


与所有其他应用领域一样,软件和工具也将持续在智能摄像头领域发挥着重要作用,为广大的开发者持续创新提供动力,使新功能和应用源源不断地产生。随着对 64 位 Linux 发行版的支持继续扩大,越来越多公司增加了对各种新功能的支持,如运行基于最新 Arm 架构的容器调度器。


此外,Arm 继续利用最新 CPU 中的新功能来增强开源的GNU编译器工具链。Arm 还增加了对领先的计算机视觉、图像处理和机器学习开源库OpenCV的支持,从而赋能更多的开发者能够轻松开发智能摄像头应用和产品。


来自 Arm 和更广泛生态系统的支持


Arm 将持续在最新的 64 位架构规格版本中提供与数字信号处理、矢量处理、机器学习和安全有关的增强功能,所有这些都是未来几代智能摄像头需要的关键计算处理能力。


在所有智能摄像头中采用基于 64 位的 Arm处理器有诸多益处,其中关键的是可以得到来自生态系统的广泛支持。例如,AWS已经通过其 AWS Sagemaker Neo 服务,在任何支持 64 位 Armv8-A 的设备上增加了对机器学习推理的支持,使得那些计划使用 AWS云服务进行机器学习部署的公司可从中受益。


Project Cassini 等生态系统计划解决了物联网部署的两个主要障碍:可扩展性和碎片化。对于芯片合作伙伴、ODM、OEM、ISV、系统集成商和开发者来说,Project Cassini 通过加快在不同的Arm 64 位平台上部署云原生应用,释放了边缘和物联网计算潜力。而要能充分利用 Project Cassini 和 SystemReady® 计划的优势, 64 位的计算平台是必不可缺的要素。


为了加速边缘设备的开发和部署,Arm在2021年10月发布了 Arm 物联网全面解决方案(Arm Total Solutions for IoT),其产品路线图呈现了包括 Arm 虚拟硬件在内的全面解决方案的愿景,使客户能够在芯片流片前启动软件开发的工作。


总结


如果您想要在智能摄像头生态系统中超越竞争对手,那么采用 64 位处理技术至关重要。Arm 乐于随时为开发者社区和合作伙伴提供支持,协助应对向 64 位处理技术过渡过程中的任何技术挑战。向 64 位迁移将会开创“双赢”局面。它将在性能、效率和安全方面为整个生态系统带来诸多裨益,并有助于摄像头满足未来的创新,进而改变我们的世界。


关键字:摄像头  处理技术  Arm物联网  物联网  人工智能  机器学习 编辑:张工 引用地址:http://news.eeworld.com.cn/MEMS/ic559470.html

上一篇:Velodyne 激光雷达为 ROBORACE 自动驾驶赛车系列提供先进的感知
下一篇:带 Quartet TX2 嵌入式解决方案的 4 倍流传输摄像头

推荐阅读

百度Apollo联合索尼等打造超1500万像素车载摄像头,已进入开发测试环节
5月9日晚,百度Apollo宣布联合索尼半导体方案公司、联创电子(LCE)与黑芝麻智能,共同研发超1500万像素车载摄像头模组,百度主导定义面向更高等级自动驾驶视觉技术和标准。目前,此款摄像头模组已经完成初步设计,正在全速推进开发测试进程,将于不久的未来正式上市。车载专用摄像头模组被称为汽车的“眼睛”,是构建汽车感知能力的基础,为汽车的决策过程提供了重要信息。目前,行业内多为200到800万像素分辨率的摄像头模组,随着智能化技术推动自动驾驶级别提升,未来对高分辨率车载摄像头模组的需求也在不断增长。让汽车的“眼睛”看的更清、更远、更广,此款超1500万高像素车载摄像头模组根据应用场景需求展开了多项创新。首先,在高分辨率模组设计及感知能
发表于 2022-05-10
百度Apollo联合索尼等打造超1500万像素车载<font color='red'>摄像头</font>,已进入开发测试环节
让 10GigE 机器视觉变得可靠且经济实惠 - 包括多摄像头设置
让 10GigE 机器视觉变得可靠且经济实惠 - 包括多摄像头设置概述快速检测线、半导体工厂、智能交通系统、运动分析和容积捕捉等多种视觉系统应用场景都需要高分辨率、高 FPS 和高数据传输率来达到更好的结果。对于希望利用帧率更快和分辨率更高的机器视觉摄像头来改进输出的视觉系统工程师来说,从 1GigE 升级到 10GigE 是显而易见的选择。然而,根据 AIA(自动成像协会)的研究,其采用相当缓慢。考虑到这种升级带来的三个技术挑战:可靠性(丢包)、高 CPU 使用率和高延迟,这一点可以理解。本文介绍了 Teledyne FLIR Oryx + Myricom 捆绑解决方案如何解决这些挑战。更新 1:完美的性能虽然 10GigE Vi
发表于 2022-05-10
让 10GigE 机器视觉变得可靠且经济实惠 - 包括多<font color='red'>摄像头</font>设置
贸泽备货ams OSRAM NanEyeM微型摄像头
贸泽备货ams OSRAM NanEyeM微型摄像头为医疗内窥镜应用提供支持2022年5月10日 –专注于推动行业创新的知名新品引入 (NPI) 分销商™贸泽电子 (Mouser Electronics) 即日起备货ams OSRAM的NanEyeM微型摄像头模块。NanEyeM是一款具有数字输出的超小型一次性数码相机模块,适用于医疗内窥镜应用,确保了高度无菌性,减少了交叉感染的可能。贸泽分销的ams OSRAM NanEyeM摄像头模块是一款微型图像传感器,适用于要求小尺寸的视觉应用。NanEyeM面积仅为1.0mm²,采用分辨率为320×320的2.4µ滚动快门像素,无需同轴电缆或屏蔽电缆,即可提供高质量、高帧速率的图像。该模块
发表于 2022-05-10
贸泽备货ams OSRAM NanEyeM微型<font color='red'>摄像头</font>
中兴Axon 40系列发布:2998元起售 新一代屏下摄像头
5月9日消息,中兴手机正式发布全新一代中兴Axon40系列旗舰产品。中兴Axon 40 Ultra屏下摄像区屏幕采用400PPI高像素密度,全屏蓝钻排列;首发独立像素一驱一技术,每个像素单元都由单独的像素电路驱动,屏幕显示更清晰精细。电路采用分布式透明走线,消除屏下区边缘电路聚集,画面呈现更平滑自然。UDC Pro屏显芯片进一步升级,融合MRC算法升级和智能像素增强、智能显示优化技术,令显示更为精准、同步。中兴Axon 40 Ultra配备1600万像素前置屏下摄像头,可达2.24μm融合大像素效果,为屏下摄像区带来更大感光量。前摄灵透算法3.0通过AI深度学习降噪,可在不同光线环境进行画面实时校准,智能去雾化、智能抗炫光,大幅提升
发表于 2022-05-10
手机端最高像素:三星正为Galaxy S23开发2亿像素摄像头
根据 Businesskorea 爆料,三星电子正在开发一个 2 亿像素的手机摄像头,而且预计该摄像头会首先搭载在下一代的三星 Galaxy S23 系列手机上。  报道称,三星电子和三星电机(两家均为三星集团子公司,三星电机是三星电子最大的手机摄像头供应商)对这款摄像头的开发已经进入了最后阶段。  作为三星组件生产二元化的一部分,三星电子正在脱离三星电机独立开发自己的手机摄像头,并且也自己生产摄像头。在手机摄像头生产方面,三星电子占 30%,三星电机占 70%。据悉,三星电子与主要相机模块合作伙伴分享了一份关于开发 2 亿像素相机的粗略路线图。  三星于 2021 年发布了世界上第一个 2 亿像素的移动图像传感器 ISOCE
发表于 2022-05-10
自动驾驶之眼--前视摄像头系统深度解剖Ⅰ
自动驾驶技术,作为出行安全和效率提升的有效途径,获得了汽车等相关产业的广泛关注。而随着计算机视觉系统的日益成熟,前视摄像头(front camera)也日渐成为了自动驾驶系统中经济、有效而又不可或缺的一环。那本系列文章将会对前视摄像头系统各个模块进行深度解剖,并详细阐述各个模块中TI 性价比极高的明星产品,为摄像头的设计选型提供便利。整个系列将会分为以下几个部分详细展开:第一节:供电模块第二节:信号处理模块第三节:接口模块第四节:监测以及检测模块图 1:前视摄像头系统框图第一节供电模块摄像头供电系统,如图2所示,一般先从蓄电池取电,经过一级变换后将电压转换为5V/3.3V的中间电压。然后经过第二级电压变换,转化为负载需要的电压。一般
发表于 2022-05-09
自动驾驶之眼--前视<font color='red'>摄像头</font>系统深度解剖Ⅰ
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 光学传感器 麦克风 压力传感器 加速计/陀螺仪 消费电子 汽车电子 通信电子 综合资讯 温度传感器 其他技术

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved