1 嵌入式网络视频服务器的原理
嵌入式视频服务器是一种提供网络视频传输和共享的嵌入式设备。它采用嵌入式一体化结构,以面向实时处理的软件平台,集成了多通道视频、网络传输等多种功能,将视频和音频信号进行采集、压缩、复合后转换为网络IP包,采用合适的网络协议实现了视频和音频压缩数据流的实时网络传输,使得用户无论身在何处都能通过网络获得指定现场的实时图像和声音信息。此外,通过视频服务器内置的一个嵌入式网络服务器,还能实现对视频服务器的远程配置和其他附属设备的远程控制与状态获取。
由于把视频压缩和网络功能集中到一个体积很小的设备内,可以直接连入局域网,达到即插即看,省掉多种复杂的电缆,安装方便(仅需要设置一个IP地址)。用户也无需安装任何硬件设备,仅用浏览器即可观看,也可以在上端主机编制控制程序,通过人机界面进行浏览。
2 系统的硬件设计
基于ADSP-BF532的嵌入式网络视频服务器的主要硬件功能模块为:视频输入模块、核心的ADSP-BF532CPU、视频输出模块、外部存储块、仿真调试接口(JTAG)模块以及电源模块。
图1为该系统组成结构图,具体设计如下:系统前端视频采集由ADV7183实现,视频数据采集格式为YUV422Planar,采集的数据经过ADSP-BF532的PPI接口直接存储在SDRAM里,ADV7183在自己的时钟控制下通过PPI接口自动向SDRAM单元送数据,当采集完一场数据时DMA产生中断,在DMA的中断服务程序里根据实际设定情况完成视频处理;音频采集由AD1836以及外围相应的电路来实现,音频采集格式为单声道,8000Samples/s,每个采样用16Bits量化,采集的数据经过ADSP-BF532的PPI接口直接存储在SDRAM里,当设定存放音频采集数据的缓存器满时DMA产生中断,在DMA的中断服务程序里根据实际设定情况处理音频数据;ADSP-BF532一方面把采集来的视频音频数据经SPI接口送入MPC860进行处理,通过MPC860的MII接口与物理网络相连接,然后送到PC机上供实时监看和监听;一方面实时处理采集的音视频数据,压缩编码元成后的数据送到PC机,并存入硬盘。系统配置JTAG接口,运用于调试阶段。本文主要研究嵌入式视频服务器中的视频数据的处理,对于音频数据不予介绍。
3 系统的软件设计与优化
系统在Blackfin系列的软件开发环境Visual DSP++ 3.1下实现,主要分为视频外设编程、视频编码编程、视频传输编程以及系统优化部分。
3.1 系统外设软件设计
本程序采用标准的ITU-656接收模式,接收视频数据字节流:
X_COUNT=360;Y_COUNT=288;
X_MODIFY=4;Y_MODIY=4;
按以上设置执行二维DMA后,从首地址开始的内存数据排列:
0,4,8,…… 356
360,360+4,360+8,…… 360+356
2×360,2×360+4,2×360+8 …… 2×360+356
…… …… …… …… ……
284×360,284×360+4,284×360+8,……284×360+356
视频输出UART接口:利用ADSP-BF532提供的UART口,加快调试过程。
3.2 视频编码
考虑到压缩效率和码率,视频服务器的核心采用了MPEG-4 Simple Profile标准进行视频压缩编码。只进行帧内编码(I帧)和帧间预测编码(P帧),而不进行双向预测编码(B帧),适合矩形视频对象(Video Object)编码。
其中的核心算法有DCT和IDCT,它采用2D 8×8DCT,并且采用循环缓冲,充分利用了Blackfin DSP的优势,减少了循环体内部的指令执行数;MPEG-4采用两种方法确定量化步长,一是采用TM5速率控制方式,二是采用MPEG-4中定义的速率控制模型,它们都是通过码流速率大小以及图像质量的要求来改变量化系数。MPEG-4的直流系数量化采用非线性量化方式,交流系数既可以选择H.263量化也可以使用MPEG量化,这里采用H.263模式。
[page]
运动预测使用条块SAD(当前的图像与预测图像的绝对差值和)最小搜索出最匹配的宏块,而且Blackfin DSP提供了一条视频专用指令SAA,大大提高了速度;最后用边界填充(PADDING)减少在宏块边界上的运动误差。
上端软件提供友好的用户界面,用Visual C++6.0实现,根据用户的需求,通过网络从远程终端接收视频数据,包括MPEG-4的解码过程、网络传输控制和网络命令编码等。有两种编写方式,第一种需要专门写一个服务器/客户端软件来发送和接收视频图像数据;第二种可以采用服务器/浏览器模式,即将客户端软件做成控件,嵌入到网页中,做成基于WEB的数字视频服务器。本文采用第一种方式。
网络通讯模块采用组播技术,提高程序的效率。系统IP网络数据通信流程图如图3所示。本文为实现组播服务特别写了一个类Cmulticast,它是专门为视频传输而封装的类,用于服务器和客户机两端。下面对此类的公共访问函数进行介绍。
class CMulticast :publicCobject
{
public:
void Close(); //关闭创建的套接字
BOOL IsConnect();
Static Void Unintilize();//Winsock终止
Static Void Initilize(); //从指定组的指定端口读取数据
Int Send(char* lpData,int size)//向目的地址发送消息
BOOL Create(Cstring lpstrAddr,unsigned short port,HWND HWND);//创建和绑发送或接收套接字并把该套接字加入组插组,并设置了消息回调机制
CMulticast();
Virtual ~CMulticast()
Public:
HWND m_hWnd; //用于消息传递的窗口句柄
SOCKET m_hWnd; //用于消息传递的窗口句柄
SOCKET m_hSocket;//发送或接收用套接字
BOOL m_bConnected;//是否已经加入到一个组
SOCKADDR_IN addr;//发送套接字地址SOCKADDR_IN srcaddr; //接收或发送的目址
}
3.3 系统级优化
Blackfin软件开发平台的编译系统支持ANSI C以及C++编译,其系统还提供了大量的多媒体操作指令。在针对系统软件开发时,可以根据硬件的特点研究和开发调试过程中的经验,对代码的编译和具体任务的处理进行优化。以及针对要缩短显示模块代码执行时间而进行上端软件的设计优化。
4 实验结果
在该实验的基础上,经过对ADV7183采集的视频序列(帧率为30fps,CIF格式)进行测试,结果表明:(1)DSP可通过SPI接口实时传输视频图像编码数据,数据不丢失,不出错;(2)在对MPEG-4视频压缩编码测试时重建图像质量保真度接近1;(3)在局域网上作模拟实验,可以实时传输CIF尺寸视频图像,传输延迟控制在0.5s以内;(4)UART接口能够完成本地视频输出。基于ADSP-BF532的嵌入式网络视频服务器的设计方案是可行的,但是某些技术指标仍然无法胜任实际的应用场合,需要进一步提高视频压缩的测试结果,增加大容量的硬盘存储系统来存储视频数据。
上一篇:无线基站和远程射频前端设计CPRI v4.1 IP
下一篇:基于DSP和DDS技术的气体浓度检测系统
推荐阅读最新更新时间:2024-05-02 20:51
- Allegro MicroSystems 在 2024 年德国慕尼黑电子展上推出先进的磁性和电感式位置感测解决方案
- 左手车钥匙,右手活体检测雷达,UWB上车势在必行!
- 狂飙十年,国产CIS挤上牌桌
- 神盾短刀电池+雷神EM-i超级电混,吉利新能源甩出了两张“王炸”
- 浅谈功能安全之故障(fault),错误(error),失效(failure)
- 智能汽车2.0周期,这几大核心产业链迎来重大机会!
- 美日研发新型电池,宁德时代面临挑战?中国新能源电池产业如何应对?
- Rambus推出业界首款HBM 4控制器IP:背后有哪些技术细节?
- 村田推出高精度汽车用6轴惯性传感器
- 福特获得预充电报警专利 有助于节约成本和应对紧急情况