如何通过立体视觉构建小巧轻便的深度感知系统

最新更新时间:2022-08-03来源: EEWORLD关键字:视觉  感知  传感器 手机看文章 扫描二维码
随时随地手机看文章

image.png


有多种 3D 传感器方案来实现深度感知系统,包括立体视觉相机、激光雷达和TOF(飞行时间)相机。每个选择都有其优缺点,其中,嵌入式深度感知立体系统成本低,坚固耐用,适合户外使用,并且能够提供高分辨率的彩色点云。


目前市场上有各种现成的立体感知系统。有时系统工程师需求根据精度、基线(两个相机间距)、视野和分辨率等因素,构建定制系统来满足特定的应用需求。


在本文中,我们首先介绍了立体视觉系统的主要部分,并提供了有关使用硬件组成和开源软件制作定制立体相机的说明。由于此设置专注于嵌入式系统,因此它将实时计算任何场景的深度图,而无需电脑主机。在另一篇文章中,我们将讨论如何在空间较少的情况下构建定制立体视觉系统,以便与电脑主机一起使用。


立体视觉概述


立体视觉是通过从两个视角比较场景中的信息,从数字图像中提取 3D 信息。物体在两个图像平面中的相对位置可提供关于物体距离相机的深度的信息。


立体视觉系统概述如图 1 所示,包括以下关键步骤:


校准:相机校准包括内部校准和外部校准。内部校准确定图像中心、焦距和失真参数,而外部校准确定相机的 3D 位置。这在许多计算机视觉应用中是至关重要的一步,尤其是在需要有关场景的计量信息(例如深度)时。我们将在下文第 5 节详细讨论校准步骤。


纠正:立体纠正是指将图像平面重新投影到与相机中心之间的线平行的公共平面上的过程。纠正后,对应点位于同一行,大大降低了匹配的成本和模糊度。此步骤在提供的代码中完成,用于构建您自己的系统。


立体匹配:这是指在左右图像之间匹配像素的过程,从而产生视差图像。提供的代码中将使用半全局匹配 (SGM) 算法来构建您自己的系统。


三角测量:三角测量是指在给定 3D 空间中的点投影到两个图像上的情况下确定该点的过程。视差图像将转换为 3D 点云。


image.png


图 1:立体视觉系统概述


设计示例


我们来看一个立体声系统设计示例。以下是移动机器人在具有快速移动物体的动态环境中的应用要求。有关场景大小为 2 m,相机到场景的距离为 3 m,在 3 m 处所需的精度为 1 cm。


有关立体精度的更多详细信息,请参阅本文。深度误差由下式给出:ΔZ=Z²/Bf * Δd,这取决于以下因素:


Z 是范围

B 是基线

f 是以像素为单位的焦距,与相机视野和图像分辨率有关

有多种设计选项可以满足这些要求。根据上述场景大小和距离要求,我们可以确定特定传感器的镜头焦距。结合基线,我们可以使用上述公式计算 3 m 处的预期深度误差,以验证其是否满足精度要求。


图 2 显示了两个选项,使用基线较长的低分辨率相机或基线较短的高分辨率相机。第一个选项是较大的相机,但计算需求较低,而第二个选项是更紧凑的相机,但计算需求较高。对于此应用,我们选择了第二个选项,因为紧凑的尺寸更适合移动机器人,我们可以使用适用于 TX2 的 Quartet 嵌入式解决方案,该解决方案具有强大的板载 GPU 来满足处理需求。


image.png


图 2:示例应用的立体声系统设计选项


硬件要求


在本例中,我们使用 IMX273 Sony Pregius 全局快门传感器将两台 Blackfly S 板级 160 万像素相机安装在 12 cm 基线处的 3D 印刷杆上。这两台相机都有类似的 6 mm S 接口镜头。相机使用两条 FPC 电缆连接到“适用于 TX2 的 Quartet 嵌入式解决方案”定制载板。为了同步左右相机以同时捕捉图像,制作了一条连接两个相机的同步电缆。图 3 显示了我们定制的嵌入式立体声系统的前后视图。


image.png

图 3:定制嵌入式立体声系统的前后视图


下表列出了所有硬件组件:


image.png

应调整两个镜头,以将相机聚焦在您的应用所需的距离范围内。拧紧每个镜头上的螺钉(图 4 中以红色圈出)以保持对焦。


image.png

图 4:显示镜头螺钉的立体声系统侧视图


软件要求


a. Spinnaker

Teledyne FLIR Spinnaker SDK 已预装在适用于 TX2 的 Quartet 嵌入式解决方案中。Spinnaker 需要与相机进行通信。


b. 支持 CUDA 的 OpenCV 4.5.2

SGM(我们正在使用的立体匹配算法)需要 OpenCV 4.5.1 或更高版本。下载包含本文代码的 zip 文件,并将其解压缩到 StereoDepth 文件夹。安装 OpenCV 的脚本是 OpenCVInstaller.sh。在终端中键入以下命令:


cd ~/StereoDepth

chmod +x OpenCVInstaller.sh

./OpenCVInstaller.sh

安装程序将要求您输入管理员密码。安装程序将开始安装 OpenCV 4.5.2。下载和构建 OpenCV 可能需要几个小时。


校准


抓取和校准立体图像的代码可在 “Calibration” 文件夹中找到。使用 SpinView GUI 识别左右相机的序列号。在我们的设置中,右相机是主相机,左相机是从相机。将主从相机序列号复制到文件 grabStereoImages.cpp 第 60 和 61 行。在终端中使用以下命令构建可执行文件:


cd ~/StereoDepth/Calibration

mkdir build

mkdir -p images/{left, right}

cd build

cmake ..

make

从此链接打印出棋盘状图案,并将其贴在平面上用作校准目标。为了在校准时获得最佳效果,在 SpinView 中将 Exposure Auto 设置为 Off 并调整曝光,使棋盘状图案清晰且白色方块不会过度曝光,如图 5 所示。收集校准图像后,增益和曝光可在 SpinView 中设置为自动。


image.png

图 5:SpinView GUI 设置


要开始收集图像,请键入


./grabStereoImages


代码应以大约 1 帧/秒的速度开始收集图像。左侧图像存储在 images/left 文件夹中,右侧图像存储在 images/right 文件夹中。移动目标,使其出现在图像的每个角落。您可以旋转目标,从近处和远处拍摄图像。默认情况下,该程序捕获 100 个图像对,但可以使用命令行参数进行更改:


./grabStereoImages 20

这将仅收集 20 对图像。请注意,这将覆盖之前写入文件夹中的所有图像。部分示例校准图像如图 6 所示。


image.png

图 6:示例校准图像


收集图像后,通过键入以下内容运行校准 Python 代码:


cd ~/StereoDepth/Calibration

python cameraCalibration.py

这将生成 2 个名为 “intrinsics.yml” 和 “extrinsics.yml” 的文件,其中包含立体声系统的内部和外部参数。该代码默认采用 30mm 棋盘方格,但可以根据需要进行编辑。在校准结束时,它会显示 RMS 误差,表明校准的好坏。良好校准的典型 RMS 误差应低于 0.5 像素。


实时深度图


实时计算视差的代码位于 “Depth” 文件夹中。将相机序列号复制到文件 live_disparity.cpp 第 230 和 231 行。在终端中使用以下命令构建可执行文件:


cd ~/StereoDepth/Depth

mkdir build

cd build

cmake ..

make

将校准步骤中获得的 “intrinsics.yml” 和 “extrinsics.yml” 文件复制到此文件夹。要运行实时深度图演示,请键入


./live_disparity


它将显示左相机图像(原始未纠正图像)和深度图(我们的最终输出)。部分示例输出如图 7 所示。与相机的距离根据深度图右侧的图例进行颜色编码。深度图中的黑色区域意味着在该区域中没有发现视差数据。得益于 NVIDIA Jetson TX2 GPU,它在 1440 × 1080 的分辨率下可运行高达 5 帧/秒,在 720 × 540 的分辨率下可运行高达 13 帧/秒。


要查看特定点的深度,请在深度图中单击该点,深度将会显示出来,如图 7 中最后一个示例所示。


image.pngimage.png

图 7:对左相机图像和相应的深度图进行采样。底部深度图还会显示特定点的深度。


关键字:视觉  感知  传感器 编辑:张工 引用地址:http://news.eeworld.com.cn/MEMS/ic618023.html

上一篇:豪威集团全新图像传感器为智能手机后摄带来低光静态图像和超高动态范围视频
下一篇:豪威集团发布世界首款产品级CIS/EVS融合视觉芯片OV60B10

推荐阅读

豪威集团发布世界首款产品级CIS/EVS融合视觉芯片OV60B10
豪威集团发布世界首款产品级CIS/EVS融合视觉芯片OV60B10随着各类终端应用场景愈发多元化,对视觉传感器的技术升级诉求,也不仅仅只停留在像素、进光量、白平衡等一些基础参数的改善,而是要求产品能更智能、更全面的应对复杂多变的外部环境。例如:在AR/VR这类头显设备中,眼球追踪技术一直是终端升级的重要环节。一方面是由于每位用户的体征各不相同,常规的眼球追踪技术无法实现大规模适配;另一方面在注视点渲染这类场景当中,对传感器眼球追踪功能的低延迟、准确度以及可预测等效果提出了严苛的要求。 另外在智能手机领域,越来越多的用户希望能通过手机端完成光摄影、较暗室内环境拍摄、户外静态摄影等专业性较高的
发表于 2022-08-10
豪威集团发布世界首款产品级CIS/EVS融合<font color='red'>视觉</font>芯片OV60B10
Xfuse利用专有ISP技术研发新一代AI视觉技术 可推进自动驾驶发展
据外媒报道,近日,定制化成像与视频技术研发商Xfuse, LLC 宣布进军研发下一代人工智能视觉技术,该公司的专有高性能图像信号处理(ISP)技术能够为多种不同的传感器提供支持,同时实时融合数据丰富的HDR视频,且可实现最小的延迟。XfusePhoenix HDR ISP 技术的位置感知数据可让内部和独立的工程师对关键成像管道实行完全控制,这一点对快速推进自我感知机器人、自动导航车辆、机器视觉等应用至关重要。
发表于 2022-08-09
Xfuse利用专有ISP技术研发新一代AI<font color='red'>视觉</font>技术 可推进自动驾驶发展
基于流体控制的可穿戴传感平台
为了评估在高温下工作或进行体育活动的人的生理健康和水合状态,人们越来越多地要求实时和连续测量汗率和电解质浓度。由于人类在体温调节出汗过程中会损失大量的水和电解质,如果不能及时适当补充,其健康状况和运动表现会严重恶化;此外,由于水电解质代谢平衡的异常,各种生理功能都会发生变化。同时,随着全球变暖的加剧,热浪(温度上升)使弱势人群处于热相关疾病的高风险中,尤其是病人、儿童、老人、户外劳动者(建筑工人、交通警察)、消防员、士兵、运动员和参加体育运动的人。由于体力消耗和较高的环境温度都会导致机体过热(热应激),汗液的分泌成为最有效的生理冷却机制。在现场诊断方面,汗率和电解质浓度的组合可以作为水合状态和热病状况的有效指标。因此,迫切需要开发能
发表于 2022-08-09
基于流体控制的可穿戴传感平台
放弃“纯视觉”路线?特斯拉注册高分辨率雷达装置
6 月 9 日消息,特斯拉已经申请在其电动汽车中使用一种新的雷达,这让外界非常困惑,因为其 CEO 埃隆-马斯克已经明确表示,特斯拉计划只用基于摄像头的视觉技术来实现自动驾驶。在使用包括摄像头和雷达的一套传感器多年之后,去年特斯拉宣布过渡到没有雷达的“特斯拉视觉”系统,只使用摄像头和神经网络技术。特斯拉认为,目前的道路系统是为人类司机设计的,他们使用视觉(眼睛)和大脑(神经网络)操作车辆。特斯拉认为,通过用摄像头取代眼睛,用神经网络取代大脑,可以建立一个比人类司机更安全的自动驾驶系统。马斯克在去年 6 月特斯拉停止使用雷达后表示,纯视觉的安全概率将高于视觉 + 雷达,而不是更低。不过马斯克当时也补充说,如果有一个“非常高分辨率的雷达
发表于 2022-08-08
放弃“纯<font color='red'>视觉</font>”路线?特斯拉注册高分辨率雷达装置
如何打破机器视觉3D传感的局限性
视觉引导机器人帮助制造商、物流公司和其他行业改进订单履行流程,实现更高的生产力和更高的利润。自动化系统的能力在很大程度上取决于它配备的机器视觉类型。3D 机器视觉系统2D 机器视觉系统提供没有深度信息的二维图像。因此,它们仅适用于简单的应用,例如条形码读取、字符识别、尺寸检查或标签验证。相反,3D机器视觉系统可以实现更复杂的机器人任务。因为它们提供具有精确 X、Y 和 Z 坐标的 3D点云,3D视觉技术使机器人系统能够更准确地识别物体,并将它们拾取并放置在另一个位置,例如传送带,以便进一步加工。先进的3D 机器视觉系统也非常适合质量控制和检查、表面缺陷检测以及其他需要深度信息的任务。更多3D选择3D 视觉系统的市场供应相当丰富。有许
发表于 2022-08-08
STM32驱动AS5600磁性旋转位置传感器模块
简介AS5600 是一款易于编程的磁性旋转位置传感器,具有高分辨率 12 位模拟或 PWM 输出。 这种非接触式系统测量径向磁化轴上磁铁的绝对角度。 该 AS5600 专为非接触式电位计应用而设计,其坚固的设计消除了任何同质外部杂散磁场的影响。引脚定义I2C接口7位设备地址为0x36(二进制表示为0110110)支持标准模式和快速模式和高速模式写数据读数据从指定的地址开始读数据驱动程序注意: 这里首先搞清楚一件事情,AS5600数据手册中给的7位地址(0x36)指的是原始的7位设备地址,而STM32库中指的设备地址为原始7位设备地址左移一位后得到的设备地址.cubeMX配置标准的I2C代码由cubeMX配置生成:驱动程序bsp_as
发表于 2022-08-08
STM32驱动AS5600磁性旋转位置<font color='red'>传感器</font>模块
小广播
换一换 更多 相关热搜器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 光学传感器 麦克风 压力传感器 加速计/陀螺仪 消费电子 汽车电子 通信电子 综合资讯 温度传感器 其他技术

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved