浅谈：百万像素摄像机芯片技术解析

    早在2008年高清视频监控已被业界提出，并一度成为关注的热点，但由于当时的技术、成本和实际的客户需求等多种原因高清视频监控的市场实际上并未真正启动。然而从现在来看，高清视频监控不再停留在口号上，各个厂商开始把它作为重点产品技术发展方向，也同样作为市场推广的重点。

    面对越来越大的市场，需求量的提升会带来更高性能和功能的需求，高清摄像机产品的核心芯片技术的革新和性能的提升对高清视频监控市场的状况将起到决定性作用。首先，我们先简单分析目前高清摄像机产品常见的部件架构。常见的高清摄像机分为图像传感器、ISP（图像信号处理器）、压缩处理器或数字视频转换三个常见部分，市场上一些新发布的高清摄像机还会在ISP与压缩处理器之间包含一个智能分析处理器。    

    百万像素摄像机芯片技术解析

    图像传感器

    图像传感器是组成数字摄像机的重要组成部分。根据元件的不同，可分为CCD和CMOS两大类。如SONY的ICX445、ICX274、IMX035/036，Aptina的MT9M033、MT9D131、MT9T031，Omnivison的OV2715等等。图像传感器的作用是将光学图像采集并转换成后端ISP可用的电信号。

    过去，我们常说CCD是应用在影像产品的高端技术元器件，而CMOS由于其低照性能、曝光模式等技术性能有限应用于低影像品质产品中。如今，CMOS技术快速发展，例如SONY推出了使用Exmor技术的IMX035/036图像传感器，其低照性能、图像分辨率及帧率、芯片处理速度有了很大程度的性能提升。

    ISP图像信号处理器

    ISP（Image Signal Processor）图像信号处理器的主要作用是对前端图像传感器输出的信号做后期的处理。不同的ISP用来匹配不同厂商的图像传感器。ISP的优异在整个摄像机产品中很重要，应当说它直接影响呈现给用户的影响画质的优劣。图像经过图像经过CCD或者CMOS的采集后，需要经过后期的处理才可以较好的适应不同的环境，在不同的光学条件下都能较好的还原出现场细节。在ISP中它会完成我们常常提及的2A（AWB/AE，自动白平衡/自动曝光）或者3A（AWB/AE/AF，自动白平衡/自动曝光/自动聚焦）。传统模式下一般采用一颗DSP或者一颗FPGA来完成对图像的后期处理。有些摄像机产品支持的3D降噪功能、宽动态、慢快门、帧累积、强光抑制等功能也都是ISP来完成的。

    目前应用在高清摄像机产品中的ISP一般有以下几个来源：

    厂商自行研发：高清摄像机设备厂商为了更好的配合后端压缩、功能开发，自行研发ISP处理算法，将算法集成至FPGA或DSP芯片中，接驳前端图像传感器。

    第三方研发：2010年已经逐渐诞生了一批由非高清摄像机制造厂商推出的一些ISP解决方案，他们直接出售不同的ISP芯片给摄像机厂商配合不同厂商的Sensor。

    套片模式：由Sensor厂商将自主开发的ISP结合自家Sensor形成图像采集处理解决方案推向客户，其中的图像处理算法及各种调试工作已经完成，摄像机厂商只需要做接口对接并后端压缩或转换成数字视频（HD-SDI）即可。这种模式我们称为Stand-Alone Devices或者Camera System Onchip。

    第一种来源方式具备较高的灵活性，使得开发者在选择方案时拥有更多的组合(主要是选择不同厂商的Sensor)。但是对于产品而言，一方面增加了整机的功耗、散热等问题，另外也增加产品开发投入，也意味着研发高清摄像机产品的厂商需要更雄厚的技术实力。而后两种来源方案无疑大大降低了产品开发的门槛，但相对自主研发ISP肯定要增加部分成本。设想如果有集成度更高的高清摄像机芯片解决方案，将ISP和视频压缩编码功能融合在一起无疑是更好的选择。

    压缩处理器或数字视频转换

    首先我们来了解压缩处理和数字视频转换的概念。ISP将前端图像传感器信号处理后，一般会以MPTE296M/BT.1120/YUV4:2:2等数字接口格式传输到后端处理芯片中。压缩处理器（SoC或DSP）可以将视频信号以H.264/MPEG-4/MJPEG算法进行编码压缩，然后通过内建的网络服务以TCP/IP协议的网络信号进行传输给用户。数字视频转换则是非压缩方式，通过数字视频转换芯片将ISP输出的数字信号转换成SD-SDI/HD-SDI/3G-SDI信号，分别对应标准清晰度（VGA）、高清标准（1080P@30fps）、1080P@60fps甚至更高的分辨率。HD-SDI高清视频信号需要使用专用的传输周边设备，如SDI光端机、SDI矩阵等等。

    在此，我们着重介绍压缩处理器。我们看到一款高清摄像机产品的参数性能时，时常看到SoC这个字样，SoC（SystemOnChip）的定义多种多样，由于它的应用领域范围广，内涵丰富很难给出具体定义。一般来说我们称为系统级芯片，也称片上系统，意指它是一个系统，是一个专用的集成电路，其中包含完整的高清摄像机系统并嵌入软件服务。

    高清摄像机中的SoC市场上常见的厂商有Ti（德州仪器）、Ambarella（安霸）、Hislicon（海思半导体）、NXP（恩智浦半导体）等。不同厂家的硬件压缩处理器拥有各自的特性，比如低功耗、高性能、高视频压缩质量、高压缩比等。我们前文中提到将ISP图像信号处理与后端视频压缩融合的概念，传统意义上来讲，前文介绍的高清摄像机的几个重要器件是彼此分开的，不同的处理工作由不同的芯片完成，那么随着SoC芯片技术的发展和市场的大趋势，越来越多的厂商将ISP与视频压缩处理甚至是智能分析技术融合在一起，将功能固化在一颗芯片中。

    高清摄像机中应用的NXPASC8850，Hislicon Hi3516，都集成了ISP中实现的3A、3D降噪、宽动态（WDR）、强光抑制、背光补偿、数字防抖等图像处理功能，Hi3516芯片还集成了智能分析加速引擎，支持智能运动侦测、周界防范、人脸检测、镜头保护等多种分析应用。并且，这些SoC芯片对我们厂商还开放了ISP相关的API（程序接口），可供我们对ISP效果二次调节开发优化。

    这些芯片技术使得高清摄像机的集成度越来越高，芯片的融合将是一个趋势。

    笔者认为高清摄像机SoC芯片的发展将会在功耗、编码性能、ISP、智能分析这几个方面做技术突破来寻求发展，那么将会带动高清摄像机产品的发展。

    更低的芯片功耗可以使得高清摄像机体积更小、可应用于更恶劣的环境、以及衍生出多种多样的高清摄像机产品形态。

    更高的编码性能可以使得高清摄像机拥有更高像素的实时压缩能力，大部分的高清芯片如TI的DM368、海思的Hi3515/3516、NXP的ASC8850等都可以做到1080P@30fps，3兆及5兆像素级还无法做到实时压缩，更高像素的高清摄像机可以替代我们传统模式的一点多机的多区域监控模式，可有效的降低设备投入成本以及周边布线成本。

    现在大部分内置ISP功能的视频芯片对CMOS芯片的支持都比较完善，可以直接对接各主要Sensor厂商的主要产品，但是对CCD芯片的支持则相对有限，还需要开发者做二次转换。

    目前的带智能分析功能的高清摄像机是在设备中预留一颗较高主频的DSP或者ARM核心，开发者可以自己选择将智能分析算法中的某一部分功能或者全部移植到该DSP或者ARM上，形成带智能分析的智能高清摄像机。

    目前业界主要的SoC厂商都已经意识到主控芯片的整合化趋势，并大量投入研发力量进行新一代高清SoC芯片的研发，不管是率先推出ASC8850的NXP和推出DM368的TI，还是新发布Hi3516的海思半导体，都已经开始在高度融合的高清摄像机主控芯片上有所建树，同时也还有一些有影响力的IC厂商正跃跃欲试，相信随着芯片厂商的努力和推动，结合下游设备厂商的市场推广和用户需求的拉动，高度集成的新一代高清摄像机SoC芯片将会取得越来越大的发展，并将逐步成为一个成熟的产业。

    结束语

    高清摄像机的相关芯片技术正在高速发展，市场对高清监控产品的性能要求也在不断提高，一般的720P分辨率已经有点捉襟见肘，200万像素、300万像素甚至500万像素高清摄像机的需求在不断涌现，这些需求对高清摄像机的相关芯片性能提出了更大的挑战。而真正要全方位的实现高清视频监控，势必是从前端产品的高清化，再到网络传输、集中存储、显示控制、平台管理等方面均支持高清视频监控。