基于FPGA和LCOS技术的3D视频前端处理与显示系统设计

2015-02-11来源: 互联网关键字:FPGA  LCOS技术
目前,3D显示已逐渐融入到人们的生活当中,因其能再现真实的三维场景,受到了人们的广泛热爱,红蓝3D图像获取的基本原理如图1所示。摄像头采集同一场景的两路视频图像信号,对其中一路信号只提取图像信号的红色分量;另一路提取图像信号的蓝、绿色合成的青色分量。将两路信号采用同步色差合成算法合成红蓝3D视频图像。目前国内3D电视产业面临的主要问题在于:(1)3D电视芯片的缺少而导致3D片源的短缺;(2)视频处理的复杂度较高;(3)显示与观看效果不佳。为此本文对传统的视频处理过程中色度分量的提取、亮度的增强、红蓝3D眼镜的设计等方面进行了改进,并采用LCOS作为微显示器件,投影出红蓝3D视频图像。

 

 

1 颜色分量的获取与亮度的增强

传统的方法只采用红加蓝、红加绿色度分量合成3D视频,这样会使画面的损伤较大,丢失33%以上的颜色分量,观看起来颜色失真较大,亮度也大大降低,增加了眼睛的负担,易产生疲劳。针对颜色失真本文采用红加青的方法以减少色度的丢失,这样可使画面色度饱和度还原到原始画面的90%以上。

针对亮度降低提出了基于亮度的图像增强方法。传统的基于Retinex理论的演变法存在一定的不足,如将RGB空间转换到HSI空间需要大量的三角函数运算,并采用傅里叶变换处理Retinex理论部分的高斯函数,大大影响处理速度。本文提出了基于YCbCr颜色空间的亮度分量处理法,同时采用无限脉冲响应数字滤波器(IIR)实现高斯函数运算。实验证明,该算法不但能增强图像的质量,还能有效避免Retinex算法中带来的光环效应,同时大大加快算法处理速度。基于亮度Y分量的Retinex 处理过程可表示为:

 

 

式中Y( x , y)为亮度分量函数,F( x , y) 被称为环境函数,一般用高斯函数表达式为:

 

 

σ为高斯函数的标准偏差,k 表示环境函数的个数。环境函数Fk用于选取不同的标准偏差σk,Wk用来控制环境函数范围的尺度,它表示与Fk相关的权重系数。

Retinex 处理算法的主要步骤就是高斯滤波,其运算速度直接决定了算法运行效率。为避免傅立叶变换的复杂的运算和不足,对高斯滤波器进行了IIR实现,把高斯滤波器分解为正向滤波器和反向滤波器的组合,如下面的差分方程。

正向滤波器:

 

 

其中,C、di’是滤波器系数,I [n]是输入数据,w1 [n]和w2 [n] 分别是正向和反向滤波器的中间状态,O1[n]、O2 [n]为其处理结果。正向和反向滤波器就构成了高斯滤波器的IIR实现过程。可以利用高斯函数的可分离性:

 

 

对图像先逐行后逐列进行处理,最终就可以实现二维高斯数字滤波。下图2为原图、传统Retinex算法、基于Y分量Retinex算法处理后的对比图。图中可以看出,传统算法可以增强图像亮度,但灰度化也很明显。而本文采用的方法不仅可以增强亮度,也可以保持原有图像的整体鲜艳效果。

 

 

另外,传统的3D眼镜仅采用红色或蓝色塑料或玻璃镜片作为滤光片,使滤光效果大打折扣,观众佩戴观看影片时,会出现不同程度的重影现象,影响观看效果。为此本文采用反射率和透过率都达到90%以上的反青透红和反红透青的滤光片作为3D眼镜的镜片,这样可以使红色镜片仅通过红色画面,青色镜片透过蓝、绿色画面,消除了重影现象,使观看效果更加鲜活、逼真,下图3为滤光片及制作的红蓝3D眼镜。

 

 

2 视频处理系统基本结构与简化

整个视频处理系统结构如图4所示。两路摄像头将采集到的信号送入TW2867进行A/D转换,输出的复用信号送入解复用(demux)模块,分离出的两路复合视频数据分别送入BT656数据解码模块、帧缓存控制模块、像素分辨率缩放模块、YCbCr 4:2:2转YCbCr 4:4:4数据模块、YCbCr亮度增强模块、YCbCr 4:4:4转RGB数据模块,最后将RGB数据送入LCOS时序控制模块,以镁光公司的CS-FLCOS作为微显示器件,搭建光机系统,显示出3D视频画面。对其中的TW2867芯片和LCOS芯片分别要进行I2C总线配置和SPI总线配置其内部的相关寄存器参数。

 

 

(1)TW2867解码

采用带有LED夜视功能的Sony CCD 感光芯片摄像头,视频输出分辨率为720*576,为标准的PAL制式视频格式。选用Techwell公司的TW2867 A/D转换芯片,能自动识别PAL/NTSC/SECAM格式的2路复合视频信号,通过I2C总线的配置,TW2867将两路摄像头信号转换为符合BT656标准的8位YCbCr数字信号。TW2867每一路都含有10位的ADC转换器、高质量的钳位和增益控制器和梳状滤波器,以滤除信号中的噪声,同时采用了一些图像增强技术,以获得高质量的YCbCr数字信号。

(2)BT656数据解码模块

国际电信联盟无线电通信组(ITU-CCIR)发布了ITU-BT656的视频标准,其行数据结构如图5所示。该模块首先需要检测数据流中是否按序出现了FF、00、00的帧头SAV或帧尾EAV信息。如果出现则对后8位的XY值进行判断,判断是否出现SAV、EAV信号,将有效视频信号的以亮度分量(Y)作为高8位,以色度分量(Cb或Cr)作为低8位合成16位的YCbCr数据,将BT656数据奇偶场的数据合并为一帧写入帧缓存中。

 

(3)像素分辨率缩放模块

帧缓存中装载的是两场视频数据,在读取的时候采用FIFO缓存并采用双线性插值算法,将原来720*576的像素分辨率放大到852*480。双线性插值算法将在水平和垂直两个方向分别进行一次线性插值。其定量计算方法如下:空间坐标系下四个点:A(x,y+1)、B(x,y)、C(x+1,y)、D(x+1,y+1),如图6所示,其灰度值依次为Ga、Gb、Gc、Gd,dx和dy分别表示目标点与点B在水平和垂直两个方向上的增量,其灰度值Gt可以由其余四点量化表示,如式2-1。

 

 

Gt = (1 - dx)(1 - dy)Gb + dx(1 - dy)Gc + (1 - dx)dyGa + dxdyGd (2-1)

从电路实现方面而言,公式(2-1)共需要8个乘法器、2 个减法器和4 个加法器,将会占用较多的逻辑资源。将公式变形为:

Gt = Gb+dx(Gc-Gb)+dy(Ga-Gb)+dxdy(Gb-Ga-Gc+Gd)

= Gb+dx(Gc-Gb)+dy(Ga-Gb)+dxdy[(Gb-Ga)+(Gd-Gc)](2-2)

公式(2-2)是另一种简化了电路的表示方法,仅需要4个乘法器、4 个减法器和3 个加法器。计算结果会有5个时钟周期的延时,当像素时钟为27Mhz,计算的时钟为一帧的数据转换为852*480*(1/27Mhz)=15ms,即可以实现实时的分辨率调整。

(4)YCbCr 4:2:2转YCbCr 4:4:4数据模块

将YCbCr4:4:4数据转换到YCbCr4:2:2是数字视频中的一个选通功能。而将YCbCr4:2:2数据转换到YCrCb4:4:4即是重采样的过程,采样的数据格式转变如图7所示。

 

 

可知,输入16位YCbCr转换成了相应各8位Y、Cb、Cr信号,且输出像素采样率比输入采样率快了一倍,由此可见YCbCr4:2:2的数据格式压缩了将近一半的数据带宽。

(5)YCbCr444-RGB模块

将YCbCr数据转换为RGB数据可由下图8所示数据关系得到。由于FPGA进行浮点运算较为复杂,且占用的时钟周期较长(比如16位的浮点加法电路,一般多达十几到二三十个时钟周期),并不适合于实时视频数据处理,所以先通过对上式左右二端放大128倍化为整数运算,计算后再对结果除以128(右移7位),即可获得正确的结果。

 

 

(6)LCOS时序控制模块

LCOS时序发生器主要用于产生微显示器件所需的时序,包括提供像素时钟(clk)、行同步信号(hsync)、场同步信号(vsync)、有效信号(valid),并输出当前行、列像素坐标值,从帧缓冲区发出数据请求信号并读出红、绿、蓝的视频数据。LCOS的时序仿真图如下图9所示。

 

 

3 FPGA红蓝3D视频获取及主观评价

FPGA选用的是Altera公司的Cyclone IV系列的EP4CE30F23C6N这款高速FPGA芯片,FPGA和DDR2之间的时钟频率可以达到200M,DDR2内部时钟频率达到400M,充分满足了两路视频处理的要求。通过对视频处理过程中模块的编写,编译后其消耗的的逻辑单元数为13615个,仅占总逻辑单元数的47%,如下图11所示,使视频处理过程更加简便高效。将以上各模块搭建、调试、下载到FPGA中,并采用镁光公司的LCOS芯片作为微显示器件,摄像头采集到的《阿凡达》2D电影的一个画面转换为3D换面效果如下图12所示,可以看到图面中的人物具有视差的红蓝两路图像,佩戴上红蓝3D眼镜,即可看到人物出屏的效果。

目前针对于3D显示的评价的方法主要还是主观的评价方法,按照2000年国际电信联盟发布的ITU-R BT.1438立体电视图像主观评价标准,分为5级,即优秀、良好、一般、不好、坏五个级别。以立体图片上的一点为中心,单眼左右移动时,图像会出现连续的跳跃,两次跳跃之间眼睛移动的角度为立体图像的视变角,视角越大,观看越舒适,但视角变大意味着立体感减弱。通过多人观看本文的3D视频,本设计主观评价在良好级别,达到了预期的设计效果。

 

 

4 结束语

本文实现了一种结合Altera公司生产的Cyclone IV系列FPGA的3D视频前端处理与显示系统,具有设计周期短、结构简单、稳定可靠、实现效果逼真、节约设计成本的优点。高速图像采集系统中采用FPGA作为采集控制部分,不仅可以提高系统处理的速度,还可以提高系统的灵活性和适应性。弥补了当前3D电视芯片缺少的问题,对原有的视频处理过程及显示器件进行了改进,并提出了一种简便性和普适性的图像增强算法。该系统在安防监控、倒车影像、图像分析、影视拍摄和投影显示等方面都具有广泛的应用前景。

关键字:FPGA  LCOS技术 编辑:探路者 引用地址:http://news.eeworld.com.cn/dygl/2015/0211/article_25581.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:基站对高集成度低噪声放大器的要求
下一篇:PCB设计之单片机控制板设计原则

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

简化AI与图像处理应用,Microchip Hello FPGA套件贸泽开售
专注于引入新品并提供海量库存的电子元器件分销商贸泽电子 (Mouser Electronics) 即日起开始备货Microchip Technology的Hello FPGA套件。此套件是一个入门级平台,专为在现场可编程门阵列 (FPGA) 领域经验不足的终端用户而开发。Hello FPGA套件支持人工智能 (AI) 和数字信号处理原型开发,其电源监控GUI让开发人员能在设计时测量FPGA内核功耗。此套件适合于开发各种解决方案,包括通信、工业、航空、医疗以及国防等应用。        
发表于 2020-05-06
简化AI与图像处理应用,Microchip Hello FPGA套件贸泽开售
片上网络技术的发展及其给高端FPGA带来的优势
网络技术(Network-on-Chip,NoC)在这个时候也得到了极大的应用,它本质上就是提供一种解决芯片内不同IP或者不同核心之间数据传输的片上通信方案。 片上网络技术从发明至今已有20多年的历史,在SoC中已经有了广泛的应用。针对片上网络高带宽、低延迟的特性,主流FPGA公司也开始考虑将NoC用于高端FPGA中来解决数据传输的高带宽需求。Achronix的新一代7nm工艺的Speedster 7t便是最早集成了NoC的高端FPGA之一。如图1所示。  图1  Speedster 7t FPGA结构图 2. 片上互连架构的发展 片上互联架构的发展主要经历了三个阶段:共享总线
发表于 2020-04-30
片上网络技术的发展及其给高端FPGA带来的优势
紫光同创、ALINX强强联合,发布国产入门级FPGA开发套件
近日,国产FPGA芯片龙头企业紫光同创联合国内知名的FPGA方案提供商ALINX(芯驿电子)共同推出国产入门级FPGA开发套件,开发板加下载器套餐价格低至470元,为初学者及高校学生、研究院所提供了更加低成本的FPGA开发平台,二者的强强联合,进一步完善了国产FPGA开发生态环境!  紫光同创PGL12G开发板 该开发套件基于紫光同创logos系列PGL12G-6CFBG256芯片,核心部分由FPGA + SDRAM +QSPI FLASH构成,能够满足数据处理过程中对高缓冲区的需求,可应用于视频图像处理和工业控制等领域。  紫光同创PGL12G开发板下载器 
发表于 2020-04-23
紫光同创、ALINX强强联合,发布国产入门级FPGA开发套件
加速边缘服务器发展,BittWare 新型 TeraBox FPGA 问市
Molex旗下BittWare 公司是企业级 FPGA 加速器产品领域一家领先的供应商,现推出全新的 TeraBox™ 200DE 边缘服务器。TeraBox 服务器产品系列是专为数据中心提供的领先产品,而TeraBox 200DE 是构建在此成功基础之上另一创新,实现了世界一流的FPGA加速功能,可部署在边缘应用所需的更具挑战性的恶劣环境之下。200DE是一种小体积的 2U 短深服务器,以新型的戴尔 PowerEdge™ XE2420 为基础。可以填充一系列的 BittWare 加速器产品,采用了 Achronix、英特尔和赛灵思最新的 FPGA 技术,针对 5G、NFV、预测分析和机器学习推理之类高度专业化的工作量所提
发表于 2020-04-21
加速边缘服务器发展,BittWare 新型 TeraBox FPGA 问市
高云半导体安全FPGA系列推进嵌入式产品安全开发
全球极具创新性的可编程逻辑器件供应商—广东高云半导体科技股份有限公司(以下简称“高云半导体”)在2019年发布了的安全FPGA系列产品(SecureFPGAs),因其实现了硬件PUF(物理不可克隆功能)的安全性,从而为高云半导体的μSoC FPGAs提供了信任基础。自此后,高云半导体一直在与各类安全技术人员合作开发应用案例,以便快速推进其嵌入式产品上的安全开发。  近期,纽约理工学院(NYiT)温哥华分校与高云半导体 SecureFPGAs合作开发了解决方案,并将其作为该校INCS 870网络安全顾问研究生课程的一部分。 通过与高云半导体合作,学生们使用Secure FPGA、μSoC FPGA解决通用安全问题
发表于 2020-04-21
高云半导体安全FPGA系列推进嵌入式产品安全开发
高云半导体的蓝牙FPGA模组获得欧盟CE认证
中国广州-全球增长最快的可编程逻辑公司广东高云半导体科技股份有限公司(以下简称“高云半导体”)的BLE(Bluetooth Low Energy Radio)模块获得欧盟的CE-RED(全称Radio Equipment Directive)认证,使开发人员可以快速轻松地将GW1NRF-4 µSoC FPGA BLE模块整合到最终产品中。   2019年年底,高云半导体发布了首款带有集成BLE模块)的GW1NRF-4 FPGA,该器件提供4.6k LUTs,内部集成一个32位低功耗的ARC处理器和一个蓝牙BLE模块,封装为6x6mm的 QFN。为了给客户提供更完善的解决方案,高云
发表于 2020-04-07
高云半导体的蓝牙FPGA模组获得欧盟CE认证
小广播
换一换 更多 相关热搜器件
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved