本文介绍了基于意法半导体公司STv0676 的网络摄像机系统组成、工作模式以及发展趋势。
视频流解决方案的应用正在迅速增多,这其中一些原因包括像SARS 这样的疾病对社会的影响、不需要出差的可视会议以及安全/监控等应用。视频流方案中摄像机是关键设备,过去我们曾听说过PC 摄像机及网络摄像机,但其工作原理有很大的不同。实际上这两个概念一直就与PC 摄像机相关联,但对于网络摄像机来说,将其与PC 联系在一起并不正确。PC 摄像机是指带USB 接口的摄像机,绝大多数采用操作系统所提供的标准软件,用于举行视频会议或视频聊天。
而在监控技术方面则有两种系统可用,一种是基于CCD 技术并使用模拟传输(PAL/NTSC) 的闭路电视摄像机,而另一种则是采用CCD 或CMOS 数字传输的新系统。仔细考察一下这两种系统所采用的技术可以发现CMOS 技术对于该市场具有更大的优势:首先,CMOS 摄像机不需要不同的电压,这意味着电源设计要简单很多;其次,CMOS 摄像机最大的优势是集成了时序及ADC,这意味着图像输出已经数字化,这有助于降低系统的整体成本。而在低光线亮度方面的性能,由意法半导体公司提供的CMOS 技术正在逐渐接近我们目前所使用的低亮度优化像素技术的水平。此外,传感器已能执行一些处理算法来帮助提高视频处理器的性能。
网络摄像机
现在让我们来看一看真正的网络摄像机,或所谓的IP 摄像机。除了适合于家庭安全及家庭监控以外,IP 摄像机将不可能取代PC 摄像机。这是因为如果我们想要通过网络来传输视频或视频和音频,则至少需要一些像流媒体服务器这样的设备。如果采用基于PC 的系统,这种系统要求PC 24 小时开机,这意味着极大的电力浪费以及产生大量噪音。此外,如果我们想要将系统用于家庭使用,这种应用还会降低PC 性能。相反,真正的IP 摄像机是构建在嵌入式流媒体服务器基础之上,这意味着摄像机拥有自己的流媒体服务器,而无需再使用PC,且只需插入以太网(集线器),或使用无线以太网即可工作。
在图1 中可以发现,在客户端仅使用了一台PC,该系统的优点是客户可处于世界任何地方,只要有互联网连接就可以通过摄像机观察并进行控制。该解决方案将具有更多的应用。随着移动电话拥有越来越多的数据通信方式可选,而且速度很快提高,将来有可能摄像机会通过运动检测或噪声检测来发出告警,可通过发送SMS 或直接拨打手机将视频流传输到手机。此概念同样适用于无人值守的办公室情况。其它用途包括将摄像机安装在门上,如有人按门铃,摄像机即会拨打视频电话,您可以通过视频电话开门。
从技术上考虑,意法半导体与台湾Taifatech(台发科技)公司共同合作提供真正的一站式解决方案(见图2)。客户只需修改其希望在客户端浏览器中显示的用户界面即可,如果不修改,则他们能使用默认界面并直接应用。我们提供的解决方案是基于Stv0676 协处理器以及我们的VGA 传感器VV6501。该套方案允许通过USB 及所谓的“Digiport (数字端口)”来传输视频。我们在该解决方案中所使用的Digiport 是一种可将并行数据传输给任何嵌入式系统的总线(8 位数据及2 位控制)。最大时钟速度为1.5MHz,即每秒最多能传输1.5M 字节数据,这很容易就能传输30fps 的视频。
图3 为该解决方案组成框图。在图左边,视频处理器直接与传感器相连,且用来控制所有必要的图像处理功能,如自动白平衡(AWB)、自动曝光(AE)、色彩变换阵列(colour shifting matrix)、曝光区加重、缺陷像素纠正及色彩模型计算等。STv0676 可以工作在下面不同的模式来将图像数据输出系统。
图3模式A STv0676 采用USB 模式,通过FIFO(先先进先出)直接将图像数据传送至USB 端口。
模式B STv0676采用主模式,且能将CCIR-656 、YcrCb 及RGB 7 位色彩数据流送至Digiport 。主模式意味着STv0676 能根据所选帧速率来为数据提供时钟。在此模式下,它可以连接外部TV 解码器并直接将信号传送给电视机。
模式C STv0676 通过FIFO 将RGB24、YUV 及MJPEG 数据流送至Digiport。此模式限制1.5MHz 的数据时钟上,但系统将处于从模式,外部控制器将控制所有数据传输。
数据动态压缩
在嵌入式环境中使用STv0676,意味着在模式C 下使用我们的系统时可以在异步模式下从STv0676 上读出数据,使主MCU 具有足够的性能来处理其他任务。该解决方案的一个内核是4KB 的FIFO。以我们所谈论的大量数据来说,此容量并不够大,但视频压缩器(VC)有助于解决这个问题。VC 拥有建立动态压缩率选择的功能,这意味着基于FIFO 占空因子的VC 可决定压缩率。例如,当MCU 读数快而FIFO 逐渐腾空时,VC 压缩减少,而当MCU 读数慢,FIFO 逐渐满时,VC 将尽可能多地压缩。但所有这些都无法避免FIFO 溢出或空。FIFO 空时将产生空闲告警,而当MCU 太慢以至于不能读数时, FIFO 将出现溢出,且不会发出告警,但视频流并没有停止。实际上这种情况很少发生,因为系统可对数据率进行计算。现在让我们来看一下数据量,根据VGA 的分辨率可有以下的计算:
每帧的Bayer 图案:640×480 = 307,200(像素) YUV 每帧:307,200 ×2B = 614,400B / 1024 (KB) = 600KB。
例如,以非压缩模式传送30fps,意味着高达17.58MBps 的数据量。因此,唯一的办法是采用数据压缩。由于JPEG 压缩是一种动态压缩,故无法100% 地预测大小。例如,您想以10:1 的比例来压缩一帧,这意味着VC 试图达到此比率,但实际上有时很容易达到有时又不能达到。值得一提的是,所计算的数据量不仅仅是在计算器上除以10 那么简单。鉴于此,VC 采用一种动态调整,故我们能拥有稳定的4KB FIFO。因此我们VC 的压缩比大约最大为80:1,但是实际情况是压缩比为30:1 的效果可以接受,而更高则会引起太多的压缩噪声,是不能接受的。故按照30fps@VGA 来传输,所需的数据量将为600KBps。
本文总结
上面系统的实现很简明:先通过传感器捕获图像,然后Stv0676 再处理并直接将MJPEG 传输给TF - 520 。TF - 520 为单芯片IP 服务器,它只需存储器及以太网PHY,而像PCI 接口、MAC 以及用于TCP/IP 协议栈处理的特殊IP 等其他部分都已集成。如果设计成无线方式,则只需将一块miniPCI WLAN 卡与系统相连,并改变固件即可获得一种无线解决方案。
在产品路线图规划上我们将有进一步的开发计划,其中一种便是包括音频以及可能高达两百万像素的更高分辨率,可进行数字聚焦及图片储存,且仍能以30fps VGA 来通过互联网传送的解决方案。IP 摄像机必将拥有比USB 摄像机更光明的发展前景,我们将继续推出可简化我们生活的解决方案。
编辑:神话 引用地址:STv0676 的网络摄像机系统介绍及发展趋势
视频流解决方案的应用正在迅速增多,这其中一些原因包括像SARS 这样的疾病对社会的影响、不需要出差的可视会议以及安全/监控等应用。视频流方案中摄像机是关键设备,过去我们曾听说过PC 摄像机及网络摄像机,但其工作原理有很大的不同。实际上这两个概念一直就与PC 摄像机相关联,但对于网络摄像机来说,将其与PC 联系在一起并不正确。PC 摄像机是指带USB 接口的摄像机,绝大多数采用操作系统所提供的标准软件,用于举行视频会议或视频聊天。
而在监控技术方面则有两种系统可用,一种是基于CCD 技术并使用模拟传输(PAL/NTSC) 的闭路电视摄像机,而另一种则是采用CCD 或CMOS 数字传输的新系统。仔细考察一下这两种系统所采用的技术可以发现CMOS 技术对于该市场具有更大的优势:首先,CMOS 摄像机不需要不同的电压,这意味着电源设计要简单很多;其次,CMOS 摄像机最大的优势是集成了时序及ADC,这意味着图像输出已经数字化,这有助于降低系统的整体成本。而在低光线亮度方面的性能,由意法半导体公司提供的CMOS 技术正在逐渐接近我们目前所使用的低亮度优化像素技术的水平。此外,传感器已能执行一些处理算法来帮助提高视频处理器的性能。
网络摄像机
现在让我们来看一看真正的网络摄像机,或所谓的IP 摄像机。除了适合于家庭安全及家庭监控以外,IP 摄像机将不可能取代PC 摄像机。这是因为如果我们想要通过网络来传输视频或视频和音频,则至少需要一些像流媒体服务器这样的设备。如果采用基于PC 的系统,这种系统要求PC 24 小时开机,这意味着极大的电力浪费以及产生大量噪音。此外,如果我们想要将系统用于家庭使用,这种应用还会降低PC 性能。相反,真正的IP 摄像机是构建在嵌入式流媒体服务器基础之上,这意味着摄像机拥有自己的流媒体服务器,而无需再使用PC,且只需插入以太网(集线器),或使用无线以太网即可工作。
在图1 中可以发现,在客户端仅使用了一台PC,该系统的优点是客户可处于世界任何地方,只要有互联网连接就可以通过摄像机观察并进行控制。该解决方案将具有更多的应用。随着移动电话拥有越来越多的数据通信方式可选,而且速度很快提高,将来有可能摄像机会通过运动检测或噪声检测来发出告警,可通过发送SMS 或直接拨打手机将视频流传输到手机。此概念同样适用于无人值守的办公室情况。其它用途包括将摄像机安装在门上,如有人按门铃,摄像机即会拨打视频电话,您可以通过视频电话开门。
图1
系统解决方案从技术上考虑,意法半导体与台湾Taifatech(台发科技)公司共同合作提供真正的一站式解决方案(见图2)。客户只需修改其希望在客户端浏览器中显示的用户界面即可,如果不修改,则他们能使用默认界面并直接应用。我们提供的解决方案是基于Stv0676 协处理器以及我们的VGA 传感器VV6501。该套方案允许通过USB 及所谓的“Digiport (数字端口)”来传输视频。我们在该解决方案中所使用的Digiport 是一种可将并行数据传输给任何嵌入式系统的总线(8 位数据及2 位控制)。最大时钟速度为1.5MHz,即每秒最多能传输1.5M 字节数据,这很容易就能传输30fps 的视频。
图2
图3 为该解决方案组成框图。在图左边,视频处理器直接与传感器相连,且用来控制所有必要的图像处理功能,如自动白平衡(AWB)、自动曝光(AE)、色彩变换阵列(colour shifting matrix)、曝光区加重、缺陷像素纠正及色彩模型计算等。STv0676 可以工作在下面不同的模式来将图像数据输出系统。
图3模式A STv0676 采用USB 模式,通过FIFO(先先进先出)直接将图像数据传送至USB 端口。
模式B STv0676采用主模式,且能将CCIR-656 、YcrCb 及RGB 7 位色彩数据流送至Digiport 。主模式意味着STv0676 能根据所选帧速率来为数据提供时钟。在此模式下,它可以连接外部TV 解码器并直接将信号传送给电视机。
模式C STv0676 通过FIFO 将RGB24、YUV 及MJPEG 数据流送至Digiport。此模式限制1.5MHz 的数据时钟上,但系统将处于从模式,外部控制器将控制所有数据传输。
数据动态压缩
在嵌入式环境中使用STv0676,意味着在模式C 下使用我们的系统时可以在异步模式下从STv0676 上读出数据,使主MCU 具有足够的性能来处理其他任务。该解决方案的一个内核是4KB 的FIFO。以我们所谈论的大量数据来说,此容量并不够大,但视频压缩器(VC)有助于解决这个问题。VC 拥有建立动态压缩率选择的功能,这意味着基于FIFO 占空因子的VC 可决定压缩率。例如,当MCU 读数快而FIFO 逐渐腾空时,VC 压缩减少,而当MCU 读数慢,FIFO 逐渐满时,VC 将尽可能多地压缩。但所有这些都无法避免FIFO 溢出或空。FIFO 空时将产生空闲告警,而当MCU 太慢以至于不能读数时, FIFO 将出现溢出,且不会发出告警,但视频流并没有停止。实际上这种情况很少发生,因为系统可对数据率进行计算。现在让我们来看一下数据量,根据VGA 的分辨率可有以下的计算:
每帧的Bayer 图案:640×480 = 307,200(像素) YUV 每帧:307,200 ×2B = 614,400B / 1024 (KB) = 600KB。
例如,以非压缩模式传送30fps,意味着高达17.58MBps 的数据量。因此,唯一的办法是采用数据压缩。由于JPEG 压缩是一种动态压缩,故无法100% 地预测大小。例如,您想以10:1 的比例来压缩一帧,这意味着VC 试图达到此比率,但实际上有时很容易达到有时又不能达到。值得一提的是,所计算的数据量不仅仅是在计算器上除以10 那么简单。鉴于此,VC 采用一种动态调整,故我们能拥有稳定的4KB FIFO。因此我们VC 的压缩比大约最大为80:1,但是实际情况是压缩比为30:1 的效果可以接受,而更高则会引起太多的压缩噪声,是不能接受的。故按照30fps@VGA 来传输,所需的数据量将为600KBps。
本文总结
上面系统的实现很简明:先通过传感器捕获图像,然后Stv0676 再处理并直接将MJPEG 传输给TF - 520 。TF - 520 为单芯片IP 服务器,它只需存储器及以太网PHY,而像PCI 接口、MAC 以及用于TCP/IP 协议栈处理的特殊IP 等其他部分都已集成。如果设计成无线方式,则只需将一块miniPCI WLAN 卡与系统相连,并改变固件即可获得一种无线解决方案。
在产品路线图规划上我们将有进一步的开发计划,其中一种便是包括音频以及可能高达两百万像素的更高分辨率,可进行数字聚焦及图片储存,且仍能以30fps VGA 来通过互联网传送的解决方案。IP 摄像机必将拥有比USB 摄像机更光明的发展前景,我们将继续推出可简化我们生活的解决方案。