1 嵌入式网络视频服务器的原理
嵌入式视频服务器是一种提供网络视频传输和共享的嵌入式设备。它采用嵌入式一体化结构,以面向实时处理的软件平台,集成了多通道视频、网络传输等多种功能,将视频和音频信号进行采集、压缩、复合后转换为网络IP包,采用合适的网络协议实现了视频和音频压缩数据流的实时网络传输,使得用户无论身在何处都能通过网络获得指定现场的实时图像和声音信息。此外,通过视频服务器内置的一个嵌入式网络服务器,还能实现对视频服务器的远程配置和其他附属设备的远程控制与状态获取。
由于把视频压缩和网络功能集中到一个体积很小的设备内,可以直接连入局域网,达到即插即看,省掉多种复杂的电缆,安装方便(仅需要设置一个IP地址)。用户也无需安装任何硬件设备,仅用浏览器即可观看,也可以在上端主机编制控制程序,通过人机界面进行浏览。
2 系统的硬件设计
基于ADSP-BF532的嵌入式网络视频服务器的主要硬件功能模块为:视频输入模块、核心的ADSP-BF532CPU、视频输出模块、外部存储块、仿真调试接口(JTAG)模块以及电源模块。
图1为该系统组成结构图,具体设计如下:系统前端视频采集由ADV7183实现,视频数据采集格式为YUV422Planar,采集的数据经过ADSP-BF532的PPI接口直接存储在SDRAM里,ADV7183在自己的时钟控制下通过PPI接口自动向SDRAM单元送数据,当采集完一场数据时DMA产生中断,在DMA的中断服务程序里根据实际设定情况完成视频处理;音频采集由AD1836以及外围相应的电路来实现,音频采集格式为单声道,8000Samples/s,每个采样用16Bits量化,采集的数据经过ADSP-BF532的PPI接口直接存储在SDRAM里,当设定存放音频采集数据的缓存器满时DMA产生中断,在DMA的中断服务程序里根据实际设定情况处理音频数据;ADSP-BF532一方面把采集来的视频音频数据经SPI接口送入MPC860进行处理,通过MPC860的MII接口与物理网络相连接,然后送到PC机上供实时监看和监听;一方面实时处理采集的音视频数据,压缩编码元成后的数据送到PC机,并存入硬盘。系统配置JTAG接口,运用于调试阶段。本文主要研究嵌入式视频服务器中的视频数据的处理,对于音频数据不予介绍。
3 系统的软件设计与优化
系统在Blackfin系列的软件开发环境Visual DSP++ 3.1下实现,主要分为视频外设编程、视频编码编程、视频传输编程以及系统优化部分。
3.1 系统外设软件设计
本程序采用标准的ITU-656接收模式,接收视频数据字节流:
X_COUNT=360;Y_COUNT=288;
X_MODIFY=4;Y_MODIY=4;
按以上设置执行二维DMA后,从首地址开始的内存数据排列:
0,4,8,…… 356
360,360+4,360+8,…… 360+356
2×360,2×360+4,2×360+8 …… 2×360+356
…… …… …… …… ……
284×360,284×360+4,284×360+8,……284×360+356
视频输出UART接口:利用ADSP-BF532提供的UART口,加快调试过程。
3.2 视频编码
考虑到压缩效率和码率,视频服务器的核心采用了MPEG-4 Simple Profile标准进行视频压缩编码。只进行帧内编码(I帧)和帧间预测编码(P帧),而不进行双向预测编码(B帧),适合矩形视频对象(Video Object)编码。
其中的核心算法有DCT和IDCT,它采用2D 8×8DCT,并且采用循环缓冲,充分利用了Blackfin DSP的优势,减少了循环体内部的指令执行数;MPEG-4采用两种方法确定量化步长,一是采用TM5速率控制方式,二是采用MPEG-4中定义的速率控制模型,它们都是通过码流速率大小以及图像质量的要求来改变量化系数。MPEG-4的直流系数量化采用非线性量化方式,交流系数既可以选择H.263量化也可以使用MPEG量化,这里采用H.263模式。
[page]
运动预测使用条块SAD(当前的图像与预测图像的绝对差值和)最小搜索出最匹配的宏块,而且Blackfin DSP提供了一条视频专用指令SAA,大大提高了速度;最后用边界填充(PADDING)减少在宏块边界上的运动误差。
上端软件提供友好的用户界面,用Visual C++6.0实现,根据用户的需求,通过网络从远程终端接收视频数据,包括MPEG-4的解码过程、网络传输控制和网络命令编码等。有两种编写方式,第一种需要专门写一个服务器/客户端软件来发送和接收视频图像数据;第二种可以采用服务器/浏览器模式,即将客户端软件做成控件,嵌入到网页中,做成基于WEB的数字视频服务器。本文采用第一种方式。
网络通讯模块采用组播技术,提高程序的效率。系统IP网络数据通信流程图如图3所示。本文为实现组播服务特别写了一个类Cmulticast,它是专门为视频传输而封装的类,用于服务器和客户机两端。下面对此类的公共访问函数进行介绍。
class CMulticast :publicCobject
{
public:
void Close(); //关闭创建的套接字
BOOL IsConnect();
Static Void Unintilize();//Winsock终止
Static Void Initilize(); //从指定组的指定端口读取数据
Int Send(char* lpData,int size)//向目的地址发送消息
BOOL Create(Cstring lpstrAddr,unsigned short port,HWND HWND);//创建和绑发送或接收套接字并把该套接字加入组插组,并设置了消息回调机制
CMulticast();
Virtual ~CMulticast()
Public:
HWND m_hWnd; //用于消息传递的窗口句柄
SOCKET m_hWnd; //用于消息传递的窗口句柄
SOCKET m_hSocket;//发送或接收用套接字
BOOL m_bConnected;//是否已经加入到一个组
SOCKADDR_IN addr;//发送套接字地址SOCKADDR_IN srcaddr; //接收或发送的目址
}
3.3 系统级优化
Blackfin软件开发平台的编译系统支持ANSI C以及C++编译,其系统还提供了大量的多媒体操作指令。在针对系统软件开发时,可以根据硬件的特点研究和开发调试过程中的经验,对代码的编译和具体任务的处理进行优化。以及针对要缩短显示模块代码执行时间而进行上端软件的设计优化。
4 实验结果
在该实验的基础上,经过对ADV7183采集的视频序列(帧率为30fps,CIF格式)进行测试,结果表明:(1)DSP可通过SPI接口实时传输视频图像编码数据,数据不丢失,不出错;(2)在对MPEG-4视频压缩编码测试时重建图像质量保真度接近1;(3)在局域网上作模拟实验,可以实时传输CIF尺寸视频图像,传输延迟控制在0.5s以内;(4)UART接口能够完成本地视频输出。基于ADSP-BF532的嵌入式网络视频服务器的设计方案是可行的,但是某些技术指标仍然无法胜任实际的应用场合,需要进一步提高视频压缩的测试结果,增加大容量的硬盘存储系统来存储视频数据。
上一篇:无线基站和远程射频前端设计CPRI v4.1 IP
下一篇:基于DSP和DDS技术的气体浓度检测系统
推荐阅读最新更新时间:2024-05-02 20:51
- Vishay 推出新款精密薄膜MELF电阻,可减少系统元器件数量,节省空间,简化设计并降低成本
- 芯原推出新一代高性能Vitality架构GPU IP系列 支持DirectX 12和先进的计算能力
- NXP 2.5亿美元收购Aviva,但车载SerDes领域依然处于战国时期
- 应对 AI 时代的云工作负载,开发者正加速向 Arm 架构迁移
- 沉浸式体验漫威宇宙,英特尔锐炫显卡为《漫威争锋》提供Day 0支持
- 艾迈斯欧司朗与法雷奥携手革新车辆内饰,打造动态舱内环境
- 《嵌入式-STM32开发指南》第二部分 基础篇 - 第7章DMA(HAL库)
- 【“源”察秋毫系列】DC-DC电源效率测试,确保高效能与可靠性的关键步骤
- NVIDIA 推出高性价比的生成式 AI 超级计算机
- Mapbox与Arm合作推出虚拟主机 加速软件定义汽车导航