基于ARM Linux的无线音视频对讲系统

发布者:Xinmei最新更新时间:2014-09-18 来源: dzsc关键字:ARM  Linux  无线音视频  对讲系统 手机看文章 扫描二维码
随时随地手机看文章

  随着数字化和网络化时代的到来,尤其是宽带无线网络的发展,为音视频这样大数据量传输业务在无线网络上的应用提供了契机。同时由于音视频独特的感官特性,使其相关的应用需求也变得越来越迫切。无线多媒体是多媒体和移动通信这两个领域的技术相互融合的产物,成为当今通信领域的一个热点。鉴于Linux内核的开源性,采用其作为操作系统,从而使整个系统具有更好的实时性和稳定性。整个系统以ARM11为核心处理器、采用新一代视频编解码标准H.264进行编译码,并通过无线网络传输音视频。它充分利用S3C6410微处理器内部集成的多媒体编解码器(Multi-Formatvideo Codec,MFC),有效提高了系统的性价比。整个系统为无线多媒体音视频的传输提供了一个好的解决方案,可广泛应用在远程监控、视频电话等各种领域,具有较好的实用价值和推广应用前景。

  1. 系统总体方案设计

  通信双方系统中音频和视频采集模块负责采集模拟信号,并将采集到的音视频数据送到音视频管理模块,经过压缩处理,再加上数据包头一起由WiFi发送到对方;对方接收到数据后,经过相关处理,判断音视频帧类型,再送往解压缩处理模块,恢复出音视频数据。通信双方设备均包含嵌入式音视频管理模块和无线收发模块。无线WiFi 收发模块运行在2.4 GHz 频段,符合IEEE 802.11b无线局域网协议标准。

  2. 系统硬件设计

  系统硬件设计以ARM11 为核心微处理器,主频为532 MHz,能够满足实时处理的要求,其内部集成有256 MB SDRAM、2 GB FLASH、音频录、放音接口、Camera视频接口、无线WiFi接口、LCD接口、SD卡接口等,同时以开源的Linux 2.6.28 为内核,yaffs2 为根文件系统,Qtopia 4.4.3 作为用户界面,为开发调试和系统设计提供了良好的平台。

  2.1 音视频采集模块

  音频采用处理器内部集成的IIS(Inter-IC SoundBus)音频接口和WM9714音频芯片。IIS是飞利浦公司为数字音频设备之间的音频数据传输而定制的一种总线标准。在飞利浦公司的IIS标准中,既规定了硬件接口系统,也规范了音频数据的格式。基于此硬件及接口规范,实现了集成音频输出、Linein输入和Mic输入功能。

  视频采集使用的是OV9650CMOS摄像头模块,分辨率高达130万像素,可直接与OK6410开发板的Camera接口相接。适用于高端消费类电子产品、工业控制、车载导航、多媒体终端、行业PDA、嵌入式教育培训、个人学习等。其结构较简单,提供硬件驱动程序,便于使用和调试。

  2.2 无线传输模块

  本系统的无线传输模块采用工作在2.4 GHz 公共频段的WiFi模块来实现,它遵循IEEE 802.11b/g网络标准,可用于在后期开发中将终端接入Internet,其最高数据率为54 Mb/s,支持WinCE、Linux 系统。室内通信距离可达100 m,室外开阔地可达300 m。只需要对ARM-Linux操作系统进行简单的配置就可以由以太网连接模式转化为双机通信AD-HOC模式,在系统启动之后,设计了基于Qt的窗口设计,方便切换连接模式。

  选用WiFi具有很好的可扩展性,可以通过无线路由器的WiFi连接到广域网,具有很好的应用前景。同时大多数手机等终端设备具有WiFi功能,后期还可以将软件升级至Andriod系统,方便开发和移植。它减少了音视频实时传输的开发成本和周期,也给现代移动通信提供了一种新的音视频通信方式。

  WiFi的驱动配置好后,应用层和以太网接口模式编程完全相同。由于此设计音视频数据量较大,不宜采用UDP,因为当数据量过大或传输信号不好时,UDP会严重丢包,所以最终选择面向连接的TCP传输协议,保证了系统音视频有效传输。由于TCP是应答时式传输数据,在局域网内,无需考虑TCP丢包问题,为实现系统功能提供了可靠的保障。

  3. 软件设计

  软件分为用户界面设计和数据处理、传输等模块的设计。

  3.1 基于多线程的软件总体设计

  系统软件架构如图1 所示,它是音视频单向采集、压缩、传输、接收、解压缩、处理回放音视频流控制过程,各个模块采用线程处理,由信号量处理线程间优先级构成循环的线程,有效地处理了音视频数据流。系统各功能模块化,便于修改和移植,代码简短精悍。

  图1 软件架构

  3.2 回音消除

  系统开始时出现回音和延时问题,延时是由于采集传输过程中造成的,所以只能尽量缩短延时,而无法做到即时播放,这也是此系统的缺陷之一。回音是由于延时造成的,文中最后采用开源的Speex算法消除了回音。具体做法:将该算法编译成库文件,加入到Linux内核,即可以使用Speex 的API函数,实现音频的回音消除。

  3.3 嵌入式音视频的同步

  本文的基本思想是以视频流为主媒体流,音频流为从媒体流,视频的播放速率保持不变,根据本地系统时钟确定实际时间,通过调整音频播放速度来达到音视频同步。

  首先选择一个本地系统时钟参考(LSCR),然后将LSCR发送到视频解码器和音频解码器,由这两个解码器根据各帧的PTS值对照本地系统时钟,参考产生各帧准确的显示或回放的时间。也就是说,生成输出数据流时依据本地参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)。在播放时,读取数据块上的时间戳,同时根据本地系统时钟参考上的时间来安排播放。

  整个系统的音视频同步数据流程如图2所示。

  图2 音视频同步数据流程

  4. 音视频通道管理

  为了节约内存资源,便于通道的管理,本设计采用分通道的线程池管理,音、视频分别由自己的通道完成任务。

  音视频采集使用同一个线程处理,采用select系统调用,每执行到此线程,就判断音视频设备是否就绪,若就绪即采集音频或视频到音视频缓冲区,再交给音视频采集压缩线程,最后再交给发送线程打包后采用TCP发送。需要说明的是本设计线程之间均采用信号量完成线程间基于TCP的音视频软件架构的同步管理。发送完以后进入接收线程等待对方发音视频数据。在接受端由接收线程接收到数据以后,判断数据的包头,再交由解压缩处理线程处理,然后播放音视频,再等待对方发数据到本机。

  由于处理器的高速处理和高效率视频硬件H.264解压缩,使得整个系统实时性基本达到要求。嵌入式音视频管理模块实现了整个系统的统筹控制和实时处理,为音视频数据管理提供可靠的保证。

  5. 结语

  目前基于嵌入式无线终端的视频监控产品由于无需布线、传输距离远、环境适应能力强,性能稳定及通信便利等优势而倍受青睐,在安全监察、巡查通信、施工联络、人员调配等场合发挥着不可替代的作用。本系统是基于嵌入式Linux的无线音视频通信手持式终端,其体积较小、携带方便,采用锂电池经过开关电源芯片降压的方式给整个系统供电,其效率较传统直流稳压大大提高。在户外可视化娱乐、施工现场监控、大型安保联络等场合均可使用,具有广泛的应用前景。

关键字:ARM  Linux  无线音视频  对讲系统 引用地址:基于ARM Linux的无线音视频对讲系统

上一篇:基于μC/OS-III及STM32的多功能控制器设计
下一篇:ARM工控核心板在免疫荧光检测仪中的应用

推荐阅读最新更新时间:2024-03-16 13:41

ARM开发板系统移植-----u-boot的编译
本文和另外两篇姊妹篇都是为了说明如何裁剪出适合在mini2440 开发板上运行的Linux系统,以记录自己的学习成果。其中本文先介绍了嵌入式系统的软件组成部分,然后介绍编译出适合在mini2440开发板上运行的uboot的方法步骤。 说明:笔者使用的开发平台---RetHat linux系统,开发板---Friendly mini2440 在开始讲述系统移植的具体方法之前,先大致了解一下嵌入式系统的软件组成:    从上面这个图可以看出,嵌入式系统的软件组成主要包括bootloader、内核以及根文件系统。当然还有bootloader传给内核的参数列表以及没画出来的应用软件。其中bootloader在开发板一上电就会被硬
[单片机]
<font color='red'>ARM</font>开发板<font color='red'>系统</font>移植-----u-boot的编译
ARM 中国荣获2017年中国杰出雇主
2016年12月6日,上海讯 —— 杰出雇主调研机构(Top Employers Institute)公布2017中国杰出雇主认证榜单 (Top Employers China 2017),安谋电子科技(上海)有限公司(ARM 中国)连续第二年获颁殊荣。杰出雇主调研机构在全球范围内认证为其员工提供卓越工作条件的雇主。 2017年中国杰出雇主认证榜单的出炉,经过杰出雇主调研机构(Top Employers Institute)全方面、独立的调研。 ARM中国因为其员工创造了卓越的工作环境和职业发展平台入选。 杰出雇主调研机构表示, ARM中国注重培养、发展组织内各层次、种类的人才,并在人力资源领域积极实践,彰显了其在该领域杰出的
[半导体设计/制造]
<font color='red'>ARM</font> 中国荣获2017年中国杰出雇主
迅为4412开发板Linux设备树的镜像烧写和源码简单优化教程
1 烧写: 烧写和4412默认镜像的烧写类似,使用fastboot。 先更新uboot,用4412默认uboot更新支持设备树的uboot 用支持设备树的uboot烧写。 进入支持设备树的uboot控制台 支持设备树的uboot控制台,使用命令:fastboot 0 这里可能需要更新一下驱动,使用驱动精灵自动安装即可。 在cmd命令行,用fastboot烧写: fastboot.exe flash bootloader u-boot-iTOP-4412.bin fastboot.exe flash kernel uImage fastboot.exe flash dtb e
[单片机]
迅为4412开发板<font color='red'>Linux</font>设备树的镜像烧写和源码简单优化教程
基于ARM的嵌入式服务机器人是怎样的情况
1 引言 随着人口老龄化进程的加快,更多老年人,尤其是地震和疾病致残的残疾人,都需要照顾。基于此,这里提出一种基于的嵌入式服务机器人控制系统设计。该服务机器人的控制系统是机器人的神经中枢,因而其设计是机器人研究的核心。该控制系统通常以、 等为核心,采用上、下位机二级分布式结构。其中上位机一般为PC机,下位机为或DSP等微控制器。但随着移动机器人的智能化,控制方法的发展,所需计算量增大,一般的单片机等处理器很难完成控制要求。而基于ARM的嵌入式服务机器人的控制器采用分层与结构,充分体现可扩展性、可移植性的设计原则.同时具有低成本、低功耗、体积小巧、可靠性高、智能化高以及通用性等特点。 2 系统整体结构设计 图1为嵌入式
[机器人]
全新Arm IP拉升智能沉浸式体验主流市场
“我们的设计理念是为主流的设备带来最极致的体验。我们在设计这些IP时研究了不同市场的用户体验,我们的想法是如何使硬件、软件相结合,并且发挥生态系统的力量来提升使用体验。我们的IP组合一直沿袭我们所倡导的大小核理念,既有比较高端的配置,如Mali-G57和Ethos-N57,也有入门级低端的产品,如Mali-D37。”在近日举办的arm Tech Symposia 2019上,Arm市场营销副总裁Ian Smythe向EEWorld记者介绍道。 全新命名问世 延展主流市场 Arm ML事业群商业与营销副总裁Dennis Laudick传达了两点信息:“第一,我们今天正式向外界介绍Ethos这个全新的ArmML的处理器
[嵌入式]
全新<font color='red'>Arm</font> IP拉升智能沉浸式体验主流市场
ARM发布SBSA标准,抢攻服务器市场添助力
    安谋国际(ARM)架构伺服器发展再添新动能。安谋国际日前针对ARMv8-A 64位元处理器,发布全新的伺服器基础系统架构(Server Base System Architecture, SBSA)规格,期解决目前ARM架构伺服器软硬体发展无标准可循的问题,从而壮大ARM架构伺服器的市占版图。 ARM技术长Mile Muller表示,ARM架构伺服器的生态系统正火速成形,在此时发布基础系统架构标准将是重要里程碑;该架构标准可简化开发商设计基础系统的繁琐过程,使开发商能更专注于后端的创新设计,加速产品开发及上市时程。 Muller进一步指出,除了处理器厂商外,ARM亦将持续与作业系统业者、韧体及软体开发商合作推动此标准架构,让
[手机便携]
ARM处理器中实现SMTP协议的嵌入式远程通讯模式
  在本课题中,通过SMTP协议的方式提供了一种新的嵌入式远程通讯模式。即在ARM处理器中实现SMTP协议,并通过双绞线连接到Internet上。在该平台上开发的远程控制设备或仪器仪表实现了通过Internet进行数据的远程传输,在任意一台上网的计算机上都可以通过Internet对其进行远程监视和控制。   项目中选择了基于ARM体系结构的32位微处理器,介绍了模块的各组成部分,包括基于ARM的硬件结构模型、软件结构、SMTP的基本结构及其运行机制。并详细分析了ARM系统中嵌入式SMTP软件模块的具体实现和调试过程。   1.系统整体结构   在系统中,将SMTP服务器引入到ARM的平台上实现嵌入式SMTP服务器(Embed
[单片机]
在<font color='red'>ARM</font>处理器中实现SMTP协议的嵌入式远程通讯模式
小广播
添点儿料...
无论热点新闻、行业分析、技术干货……
设计资源 培训 开发板 精华推荐

最新单片机文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
随便看看
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved