用小型载板传输 4 台相机的数据流:快速原型设计

最新更新时间:2022-05-10来源: EEWORLD关键字:相机  数据流  嵌入式  视觉 手机看文章 扫描二维码
随时随地手机看文章


嵌入式视觉组件一直很受欢迎,被众多应用所采用。所有这些应用的共同点是需要在狭小的空间内集成越来越多的功能。通常,让这些系统在边缘做出决策也是很有利的。为了支持此类系统,包括快速原型设计的能力,Teledyne FLIR 推出了 Quartet™ 嵌入式 TX2 解决方案。这种定制的载板可在满带宽下轻松集成最多 4 台 USB3 机器视觉相机。它包括 NVidia Jetson 深度学习硬件加速器,预先集成了 Teledyne FLIR 的 Spinnaker® SDK。通常,让这些系统在边缘做出决策也是很有利的,尤其是在检查、移动机器人、交通系统和各种类型的无人载具领域。


图 1:所有四个应用程序的原型设置


在这篇非常实用的文章中,为了强调 Quartet 能够实现的功能,我们描述了开发受 ITS(交通系统)启发的原型的步骤,该原型同时运行四个应用程序,其中三个采用了深度学习:


应用程序 1:利用深度学习识别车牌

应用程序 2:利用深度学习实现车辆类型分类

应用程序 3:利用深度学习实现车辆颜色分类

应用程序 4:透过挡风玻璃观察(透过反光和眩光)

 

image.png

介绍 TX2 的 Quartet™ 嵌入解决方案 - Teledyne FLIR 机器视觉


购物清单:硬件和软件组件


1)用于处理的 SOM:


用于 TX2 的新 Teledyne FLIR Quartet 载板包括:


4 个 TF38 连接器,配备专用的 USB3 控制器


Nvidia Jetson TX2 模块


预装了 Teledyne FLIR 功能强大且便于使用的 Spinnaker SDK,以确保在即插即用情况下兼容 Teledyne FLIR Blackfly S 板级相机


Nvidia Jetson 深度学习硬件加速器可在紧凑型单板上实现完整的决策系统


图 2:带 TX2 的 Quartet 嵌入式解决方案,可配备 4 台 Blackfly S 相机和 4 根 FPC 电缆。

2)相机和电缆


3 台标准 Teledyne FLIR Blackfly S USB3 板级摄像头,采用与盒装版相同的丰富功能集,适用于最新的 CMOS 传感器,可与 Quartet 无缝集成


1 台定制相机:Blackfly S USB3 板级相机,带 Sony IMX250MZR 偏振传感器

线缆:TF38 FPC 电缆,可用单根电缆传输电源和数据,节省了空间

BFS-BL-Blue-Cable-02-0519-JPEG (Web - 72 dpi).jpg


图 3:Blackfly S 板级相机,带 FPC 电缆


注册获取更多类似文章


3)照明:LED 灯可提供充足的照明,以避免车牌的运动模糊。


应用程序 1:利用深度学习识别车牌

开发时间:2-3 周,主要是为了使其更加稳健,运行速度更快


训练图像:LPDNet 附带


对于车牌识别,我们通过 Nvidia 部署了现成的车牌检测 (LPDNet) 深度学习模型,以检测车牌的位置。为了识别字母和号码,我们使用了 Tesseract 开源 OCR 引擎。该相机为 Blackfly S 板级 890 万像素彩色相机 (BFS-U3-88S6C-BD),配备了 Sony IMX267 传感器。我们限制了车牌检测的侦测区域,以加快运行速度,并利用跟踪来提高稳健性。输出包括车牌的边界框,以及相应的车牌字符。


图 4:传输车牌边界框和车牌字符。


应用程序 2:利用深度学习实现车辆类型分类

开发时间:约 12 小时,包括图像采集和注释


训练图像:~300


在车型分类方面,我们利用迁移学习,用三台玩具车(分别是 SUV、轿车和卡车)训练了我们自己的深度学习目标检测模型。我们采集了此设置在不同距离和角度下拍摄的约 300 幅训练图像。相机为 Blackfly S 板级 500 万像素彩色相机 (BFS-U3-51S5C-BD),配备了 Sony IMX250 传感器。我们标出了玩具车的边界框,大约耗时 3 小时。我们进行了迁移学习,以训练我们自己的 SSD MobileNet 目标检测模型,训练过程在 Nvidia GTX1080 Ti GPU 上进行,耗时半天左右。通过 GPU 硬件加速器,Jetson TX2 模块可以高效率地执行深度学习推断,并输出汽车的边界框,以及对应的车辆类型。


图 5:传输边界框和预设的车辆类型,以及确认的置信系数


应用程序 3:利用深度学习实现车辆颜色分类


开发时间:重复利用了“车辆类型应用”中的型号,用额外 2 天时间进行颜色分类、集成和测试


训练图像:重复利用了 300 幅与“车辆类型应用”相同的图像


对于车辆颜色分类,我们运行了与上述相同的深度学习对象检测模型来检测汽车,然后在边界框上进行了图像分析,以对其颜色进行分类。输出包括汽车的边界框,以及对应的车辆颜色。相机为 Blackfly S 板级 300 万像素彩色相机 (BFS-U3-32S4C-BD),配备了 Sony IMX252 传感器。


图 6:传输边界框和确认的预设颜色类型


应用程序 4:透过挡风玻璃观察(透过反光和眩光)


减少眩光对于交通相关应用至关重要,例如透过挡风玻璃观察 HOV 车道、检查安全带是否合规,甚至可以检查驾驶时是否使用手机。为此,我们将 Blackfly S USB3 板级相机与 500 万像素 Sony IMX250MZR 偏振传感器相结合,定制了一款相机。这款板级偏振相机不是标准产品,但 Teledyne FLIR 能够轻松换用不同的传感器,从而提供定制的相机选项,以展示其消眩光功能。我们只需通过 Teledyne FLIR 的 SpinView GUI 来传输相机图像流,该 GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。


图 7:Spinnaker SDK GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。四通道模式可以显示 4 个不同的偏振角度所对应的 4 幅图像。


系统总体优化



虽然这四个原型各自独立工作,但我们注意到,在所有深度学习模型同时运行时,总体性能相当差。Nvidia 的 TensorRT SDK 为 Nvidia 硬件(如 Jetson TX2 模块)提供深度学习推断优化器和运行时。我们用 TensorRT SDK 优化了我们的深度学习模型,使性能提升了 10 倍左右。在硬件方面,我们将一个散热器连接到 TX2 模块,以避免过热,因为该模块在所有应用程序都运行时会相当热。最终,我们设法在所有四个应用程序一起运行时实现了良好的帧率:车辆类型识别为 14 fps,车辆颜色分类为 9 fps,自动车牌识别为 4 FPS,偏振相机为 8 FPS。


由于 Quartet 嵌入式解决方案Blackfly S 板级相机的易用性和可靠性,我们在相对较短的时间内开发出了此原型。预装了 Spinnaker SDK 的 TX2 模块可确保在即插即用的情况下兼容所有 Blackfly S 板级相机,这些相机可在满 USB3 带宽下,通过 TF38 连接器实现可靠的传输。Nvidia 提供了多种工具来促进 TX2 模块的开发和优化。Quartet 现在可从 fir.com 上在线购买,也可以通过我们的办事处和全球经销商网络购买。


关键字:相机  数据流  嵌入式  视觉 编辑:张工 引用地址:http://news.eeworld.com.cn/MEMS/ic571602.html

上一篇:让 10GigE 机器视觉变得可靠且经济实惠 - 包括多摄像头设置
下一篇:机器视觉自动化场景应用中如何选择用2D视觉和3D视觉?

推荐阅读

S22出色的相机功能将引入老款旗舰机型中
随着GalaxyS22的推出,三星开始对旗下手机的相机功能发力,通过软件算法让手机拍出质量更高的画面。目前,S22相机上的一些功能正在GalaxyNote、GalaxyS系列中的较老高端手机上推广。韩版用户可以最先获得这些新的相机功能,其它市场的用户会在今年上半年之前获得这些功能。改进的弱光摄影GalaxyS21、GalaxyS21+、GalaxyS21Ultra、GalaxyS21FE、GalaxyZFlip、GalaxyZFlip5G、GalaxyZFlip3、GalaxyZFold2和GalaxyZFold3,这些机型的弱光拍摄将得到改进。现在这些手机可以使用GalaxyS22的“夜景”功能,例如即使在弱光条件下也可以使用长焦
发表于 2022-05-06
不止骁龙8 Gen1+芯片,曝一加10 Ultra手机将搭载潜望式相机镜头
今年以来,一加已陆续推出了包括一加 10 系列、一加 ACE 等多款机型,不仅继续占了高端市场,在中端市场也开始频频发力,获得了不少的关注度。现在有最新消息,近日有海外爆料人士晒出了超大杯的一加 10 Ultra 的更多细节。  据海外爆料人士 Yogesh Brar 最新发布的信息显示,与此前曝光的消息基本一致,全新的一加 10 Ultra 将在前作一加 10 Pro 的基础上进一步升级,而主要升级的点自然离不开相机方面。据该博主介绍,该机将有望使用潜望式镜头,这也将会是一加的第一款潜望式相机的手机。结合设计图显示,该机相机模组将延续前作的设计思路,模组左侧直接与中框相连,内部包含 3 颗镜头,其中下方的方形潜望式镜头十分明显。 
发表于 2022-05-05
不止骁龙8 Gen1+芯片,曝一加10 Ultra手机将搭载潜望式<font color='red'>相机</font>镜头
谷歌Messages出新Bug:相机在后台运行,手机电池快速耗尽
4 月 23 日消息,据报道,谷歌 Messages 消息应用程序中的一个错误 Bug 导致相机在后台运行,一些 Android 手机用户最近遇到了电池快速耗尽的情况。而且还导致此类用户的手机升温更快。  两个月前,一位名叫 u / CozyMicrobe 的 Reddit 用户讲述了首批案例之一,他拥有一台 Pixel 6 Pro。  “…… 我最近注意到,摄像头经常打开,而且角落里有个小绿点,”用户在 Reddit 上的帖子写道。“这似乎是从打开消息应用开始的。我还注意到,每当发生这种情况时,手机都会变得非常热,以至于我通常只能关闭它并让静置几分钟,因为我不想给电池带来压力。根据电池使用情况部分,消息应用程序在过去 24 小
发表于 2022-04-23
谷歌Messages出新Bug:<font color='red'>相机</font>在后台运行,手机电池快速耗尽
一加Nord 2T名称得到确认 相机细节曝光
一加Nord 2T在推出前被发现在TRDA和GFC认证网站上。Nord 2T的名称和型号已被确认。该设备将配备5000万像素的主后置摄像头和3200万像素的前置摄像头,均支持EIS和像素分层。  一加Nord 2T在印度的发布似乎就在眼前,因为这款即将推出的智能手机已经出现在TDRA认证网站上。2022年5月在印度推出之前,这款智能手机的相机细节也已通过相机FV5网站被曝光。  一加Nord 2T在上市前已在TDRA网站上被发现。据TDRA网站称,这款即将上市的设备将采用CPH2399的型号,并将继续使用OnePlus Nord 2T的名称。该设备还被发现在GCF全球认证网站上,这表明它即将推出。虽然确切的推出日期尚不清楚,但预
发表于 2022-04-23
一加Nord 2T名称得到确认 <font color='red'>相机</font>细节曝光
代码曝光谷歌Pixel 6a相机不支持“运动模式”
据 9to5 Google 报道,谷歌 Pixel 6a 新品手机即将面世,但这款手机似乎不支持其旗舰兄弟的功能。根据一些新证据,Pixel 6a 不支持“运动模式”摄影。  Android 开发人员 Kuba Wojciechowski 发现来自 Pixel Tips 应用程序的证据表明 Google 不会在 Pixel 6a 上支持相机的运动模式。  在 Pixel Tips 应用程序中,有关运动模式的详细信息被编码以显示在“PIXEL_2021_EXPERIENCE”设备上,其中包括 6a 搭载的第一代 Tensor 张量处理器,但特别排除了代号“bluejay”。  Pixel 6a 很可能不支持谷歌相机应用的运动模式
发表于 2022-04-20
MSP430 G2553 比较器Comparator_A+、数据流程图DFD、状态转换图STD
一、CA+构造MSP430G2553带有一个比较器Comparator_A+(CA+),其构造框图如下图所示。二、输入 & 输出如上图所示,比较器有一个同向输入端(V+)和一个反向输入端(V-)。通过软件设置,V+端可以连接到CA0~CA2三个外部管脚之一,或者三个内部电压基准之一;V-端可以连接到CA1~CA7七个外部管脚之一,或者三个内部电压基准之一。内部电压基准可以是0.5*Vcc、0.25*Vcc,或者内部一个二极管的导通电压(约0.55V)。输出信号可以连接至Timer的外部时钟输入,或者CAOUT对应的管脚;输出信号变化时,可触发CAIFG中断。CAx、CAOUT对应的MSP430G2553管脚如下图所示。三、相
发表于 2021-12-30
MSP430 G2553 比较器Comparator_A+、<font color='red'>数据流</font>程图DFD、状态转换图STD
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 光学传感器 麦克风 压力传感器 加速计/陀螺仪 消费电子 汽车电子 通信电子 综合资讯 温度传感器 其他技术

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved